特表 2024-538536 車両乗員支援のための車両及びモバイルデバイスインターフェース

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-23

(54)【発明の名称】車両乗員支援のための車両及びモバイルデバイスインターフェース

(51)【国際特許分類】

   G08G 1/16 20060101AFI20241016BHJP

【ＦＩ】

G08G1/16 F

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024518163

(86)(22)【出願日】2022-10-03

(85)【翻訳文提出日】2024-03-21

(86)【国際出願番号】 US2022077485

(87)【国際公開番号】W WO2023060048

(87)【国際公開日】2023-04-13

(31)【優先権主張番号】17/495,738

(32)【優先日】2021-10-06

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＱＲコード

(71)【出願人】

【識別番号】595020643

【氏名又は名称】クゥアルコム・インコーポレイテッド

【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】アスガル、ジアド

(72)【発明者】

【氏名】ホーランド、ウェスリー・ジェームス

(72)【発明者】

【氏名】オグズ、セイフラー・ハリト

(72)【発明者】

【氏名】ラマサミー、バラ

(72)【発明者】

【氏名】シェインブラット、レオニド

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181CC04

5H181LL01

5H181LL02

5H181LL04

5H181LL07

5H181LL08

5H181LL20

(57)【要約】

システム、方法、及び非一時的媒体が、車両乗員支援のための車両及びモバイルデバイスインターフェースのために提供される。本方法は、車両の内部の１つ又は複数の画像に基づいて、車両の座標系に対するモバイルデバイスの位置を判定することと、車両から、車両の１つ又は複数のセンサに関連付けられたデータを受信することと、モバイルデバイスのディスプレイデバイスを使用して、１つ又は複数のセンサに関連付けられたデータと、車両の座標系に対するモバイルデバイスの位置とに基づいて、仮想コンテンツを表示することと、を含むことができる。

【特許請求の範囲】

【請求項1】

装置であって、
メモリと、
前記メモリに結合された１つ又は複数のプロセッサと、
を備え、前記１つ又は複数のプロセッサが、
車両の内部の１つ又は複数の画像に基づいて、前記車両の座標系に対する前記装置の姿勢を判定し、
前記車両から、前記車両の１つ又は複数のセンサに関連付けられたデータを受信し、
前記装置のディスプレイデバイスを使用して、前記１つ又は複数のセンサに関連付けられた前記データと、前記車両の前記座標系に対する前記装置の前記姿勢とに基づいて、仮想コンテンツを表示する、ように構成されている、装置。

【請求項2】

前記１つ又は複数のプロセッサが、前記１つ又は複数のセンサに関連付けられた前記データに基づいて、前記車両のコンテキストを判定するように構成され、前記コンテキストが、前記車両に関連するイベントを含む、請求項１に記載の装置。

【請求項3】

前記１つ又は複数のプロセッサが、
前記装置の座標系に対する前記仮想コンテンツのロケーションを、前記車両の前記座標系に対する前記イベントのロケーションに関連付け、
前記装置の前記座標系に対する前記仮想コンテンツの前記ロケーションと前記車両の前記座標系に対する前記イベントの前記ロケーションとの前記関連付けに基づいて、前記装置の１つ又は複数の視覚画像センサからのライブコンテンツフィードを表示する、ように構成されている、請求項２に記載の装置。

【請求項4】

前記ライブコンテンツフィードを表示するために、前記１つ又は複数のプロセッサが、
前記車両の前記座標系に対する前記装置の前記姿勢と、前記イベントに対する前記車両の姿勢とに基づいて、前記イベントに対する前記装置の姿勢を判定し、
前記イベントに対する前記装置の前記姿勢と、前記装置の前記座標系に対する前記仮想コンテンツの前記ロケーションと前記車両の前記座標系に対する前記イベントの前記ロケーションとの前記関連付けとに基づいて、前記仮想コンテンツが、前記車両の乗員の視野内で前記イベントを少なくとも部分的に遮蔽することを判定する、ように構成されている、請求項３に記載の装置。

【請求項5】

前記１つ又は複数のプロセッサが、
前記装置の座標系に対する仮想コンテンツアイテムのロケーションを、前記車両の前記座標系に対する前記イベントのロケーションに関連付け、
前記装置の前記座標系に対する前記仮想コンテンツの前記ロケーションと前記車両の前記座標系に対する前記イベントの前記ロケーションとの前記関連付けに基づいて、前記仮想コンテンツアイテムをフィルタリング又は修正する、ように構成されている、請求項２に記載の装置。

【請求項6】

前記仮想コンテンツアイテムをフィルタリング又は修正するために、前記１つ又は複数のプロセッサが、
前記仮想コンテンツアイテムの１つ又は複数の特性を修正し、前記１つ又は複数の特性が、透明度、サイズ、前記仮想コンテンツアイテムのロケーション、及び前記仮想コンテンツアイテムの輝度レベルのうちの少なくとも１つを含む、ように構成されている、請求項５に記載の装置。

【請求項7】

前記仮想コンテンツアイテムをフィルタリング又は修正するために、前記１つ又は複数のプロセッサが、
前記車両の乗員の視線を判定し、前記乗員は前記装置に関連付けられており、
前記乗員の前記視線及び前記イベントの前記ロケーションに基づいて、前記乗員に対する前記イベントの可視性を判定し、
前記乗員に対する前記イベントの前記可視性に更に基づいて、前記仮想コンテンツアイテムをフィルタリング又は修正する、ように構成されている、請求項５に記載の装置。

【請求項8】

前記イベントが、前記車両の経路内のオブジェクトの存在又は前記車両の前記経路への閾値近接度、前記車両の前記経路に関連付けられた交通規制、並びに前記車両が速度制限及び車線区分線のうちの少なくとも１つ内に留まらなかったこと、のうちの少なくとも１つを含む、請求項２に記載の装置。

【請求項9】

前記車両の前記経路内の前記オブジェクト又は前記車両の前記経路に対する前記閾値近接度が、歩行者、動物、及び別の車両のうちの少なくとも１つを含む、請求項８に記載の装置。

【請求項10】

前記１つ又は複数のプロセッサが、
前記車両の乗員の視線を判定し、前記乗員は前記装置に関連付けられており、
前記車両の前記乗員の前記視線の方向内に仮想コンテンツをレンダリングする、ように構成されている、請求項２に記載の装置。

【請求項11】

前記乗員の前記視線の前記方向内に前記仮想コンテンツをレンダリングするために、前記１つ又は複数のプロセッサが、
前記イベント、前記イベントのロケーション、及び前記イベントの方向のうちの少なくとも１つの仮想インジケータを備える仮想コンテンツオーバーレイをレンダリングする、ように構成されている、請求項１０に記載の装置。

【請求項12】

前記乗員の前記視線の前記方向内に前記仮想コンテンツをレンダリングするために、前記１つ又は複数のプロセッサが、
前記仮想コンテンツの１つ又は複数の特性を修正し、前記１つ又は複数の特性が、透明度、サイズ、前記仮想コンテンツのロケーション、及び輝度レベルのうちの少なくとも１つを含む、ように構成されている、請求項１０に記載の装置。

【請求項13】

前記１つ又は複数のプロセッサが、
前記車両のコンテキスト及び前記装置の前記姿勢に基づいて、前記仮想コンテンツの少なくとも一部をフィルタリングするように構成されている、請求項１に記載の装置。

【請求項14】

前記仮想コンテンツの少なくとも一部をフィルタリングするために、前記１つ又は複数のプロセッサが、前記仮想コンテンツのサブセットの提示を可能にするように構成され、前記仮想コンテンツの前記サブセットが、前記車両の状況の指標及び車両計装情報のうちの少なくとも１つを含む、請求項１３に記載の装置。

【請求項15】

前記仮想コンテンツを表示するために、前記１つ又は複数のプロセッサが、前記車両に関連付けられた仮想コンテンツアイテムをレンダリングするように構成され、前記仮想コンテンツアイテムが、前記車両の表面に対してレンダリングされる、請求項１に記載の装置。

【請求項16】

前記レンダリングされた仮想コンテンツアイテムが、前記１つ又は複数のセンサに関連付けられた前記データにおいて識別されたイベントの第１の指標、前記車両のコンテキストの第２の指標、及び前記車両の前記コンテキストに関連付けられた警報のうちの少なくとも１つを含む、請求項１５に記載の装置。

【請求項17】

仮想コンテンツアイテムをレンダリングするために、前記１つ又は複数のプロセッサが、
前記車両のカメラデバイスからカメラフィードを受信し、
前記カメラフィードの少なくとも一部を前記装置の表示領域内に表示する、ように構成されている、請求項１５に記載の装置。

【請求項18】

前記装置の前記姿勢を判定するために、前記１つ又は複数のプロセッサが、
１つ又は複数の無線周波数（ＲＦ）信号を取得し、
前記１つ又は複数の画像と、前記１つ又は複数のＲＦ信号に関連付けられたラウンドトリップ時間、前記１つ又は複数のＲＦ信号に関連付けられた到着時間、及び前記１つ又は複数のＲＦ信号に関連付けられた受信信号強度インジケータ（ＲＳＳＩ）のうちの少なくとも１つとに基づいて、前記装置の前記姿勢を判定する、ように構成されている、請求項１に記載の装置。

【請求項19】

前記装置の前記姿勢を判定するために、前記１つ又は複数のプロセッサが、
前記車両から、前記車両に関連付けられた１つ又は複数のマーカを含む車両テンプレートを受信し、
前記１つ又は複数の画像及び前記車両テンプレートに基づいて、前記車両の前記座標系に対する前記装置の前記姿勢を判定する、ように構成されている、請求項１に記載の装置。

【請求項20】

前記１つ又は複数のマーカが、前記車両の前記内部内のエリア及び前記車両の前記内部に取り付けられたオブジェクトのうちの少なくとも一方の視覚パターン、前記車両の前記内部の要素、前記車両の前記内部内の表面、並びに前記車両の内側の照明されたオブジェクトのうちの少なくとも１つを含む、請求項１９に記載の装置。

【請求項21】

前記装置の前記姿勢を判定するために、前記１つ又は複数のプロセッサが、
前記１つ又は複数の画像内の前記１つ又は複数のマーカを検出し、
前記検出された１つ又は複数のマーカ及び前記車両テンプレートに基づいて、前記車両の前記座標系に対する前記装置の前記姿勢を判定する、ように構成されている、請求項１９に記載の装置。

【請求項22】

前記１つ又は複数のプロセッサが、
前記装置の１つ又は複数の画像センサを使用して、前記車両の内部の画像のセットを取得し、前記画像のセットが、前記車両に関連付けられた１つ又は複数のマーカを描写し、
前記画像のセットに基づいて、前記１つ又は複数のマーカを含む車両テンプレートを生成する、ように構成されている、請求項１に記載の装置。

【請求項23】

前記装置が、ヘッドマウントディスプレイを備える、請求項１に記載の装置。

【請求項24】

１つ又は複数の画像センサを更に備える、請求項１に記載の装置。

【請求項25】

方法であって、
車両の内部の１つ又は複数の画像に基づいて、前記車両の座標系に対するモバイルデバイスの姿勢を判定することと、
前記車両から、前記車両の１つ又は複数のセンサに関連付けられたデータを受信することと、
前記モバイルデバイスのディスプレイデバイスを使用して、前記１つ又は複数のセンサに関連付けられた前記データと、前記車両の前記座標系に対する前記モバイルデバイスの前記姿勢とに基づいて、仮想コンテンツを表示することと、
を含む、方法。

【請求項26】

前記１つ又は複数のセンサに関連付けられた前記データに基づいて、前記車両のコンテキストを判定することを更に含み、前記コンテキストが、前記車両に関連するイベントを含む、請求項２５に記載の方法。

【請求項27】

前記モバイルデバイスの座標系に対する前記仮想コンテンツのロケーションを、前記車両の前記座標系に対する前記イベントのロケーションに関連付けることと、
前記モバイルデバイスの前記座標系に対する前記仮想コンテンツの前記ロケーションと前記車両の前記座標系に対する前記イベントの前記ロケーションとの前記関連付けに基づいて、前記モバイルデバイスの１つ又は複数の視覚画像センサからのライブコンテンツフィードを表示することと、
を更に含む、請求項２６に記載の方法。

【請求項28】

前記ライブコンテンツフィードを表示することが、
前記車両の前記座標系に対する前記モバイルデバイスの前記姿勢と、前記イベントに対する前記車両の姿勢とに基づいて、前記イベントに対する前記モバイルデバイスの姿勢を判定することと、
前記イベントに対する前記モバイルデバイスの前記姿勢と、前記モバイルデバイスの前記座標系に対する前記仮想コンテンツの前記ロケーションと前記車両の前記座標系に対する前記イベントの前記ロケーションとの前記関連付けとに基づいて、前記仮想コンテンツが、前記車両の乗員の視野内で前記イベントを少なくとも部分的に遮蔽することを判定することと、
を含む、請求項２７に記載の方法。

【請求項29】

前記モバイルデバイスの座標系に対する仮想コンテンツアイテムのロケーションを、前記車両の前記座標系に対する前記イベントのロケーションに関連付けることと、
前記モバイルデバイスの前記座標系に対する前記仮想コンテンツの前記ロケーションと前記車両の前記座標系に対する前記イベントの前記ロケーションとの前記関連付けに基づいて、前記仮想コンテンツアイテムをフィルタリング又は修正することと、
を更に含む、請求項２６に記載の方法。

【請求項30】

前記仮想コンテンツアイテムをフィルタリング又は修正するために、前記１つ又は複数のプロセッサが、
前記仮想コンテンツアイテムの１つ又は複数の特性を修正し、前記１つ又は複数の特性が、透明度、サイズ、前記仮想コンテンツアイテムのロケーション、及び前記仮想コンテンツアイテムの輝度レベルのうちの少なくとも１つを含む、ように構成されている、請求項２９に記載の方法。

【請求項31】

前記仮想コンテンツアイテムをフィルタリング又は修正するために、前記１つ又は複数のプロセッサが、
前記車両の乗員の視線を判定し、前記乗員は前記モバイルデバイスに関連付けられており、
前記乗員の前記視線及び前記イベントの前記ロケーションに基づいて、前記乗員に対する前記イベントの可視性を判定し、
前記乗員に対する前記イベントの前記可視性に更に基づいて、前記仮想コンテンツアイテムをフィルタリング又は修正する、ように構成されている、請求項２９に記載の方法。

【請求項32】

前記イベントが、前記車両の経路内のオブジェクトの存在又は前記車両の前記経路への閾値近接度、前記車両の前記経路に関連付けられた交通規制、並びに前記車両が速度制限及び車線区分線のうちの少なくとも１つ内に留まらなかったこと、のうちの少なくとも１つを含む、請求項２６に記載の方法。

【請求項33】

前記車両の前記経路内の前記オブジェクト又は前記車両の前記経路に対する前記閾値近接度が、歩行者、動物、及び別の車両のうちの少なくとも１つを含む、請求項３２に記載の方法。

【請求項34】

前記車両の乗員の視線を判定することであって、前記乗員は前記モバイルデバイスに関連付けられている、ことと、
前記車両の前記乗員の前記視線の方向内に仮想コンテンツをレンダリングすることと、
を更に含む、請求項２６に記載の方法。

【請求項35】

前記乗員の前記視線の前記方向内に前記仮想コンテンツをレンダリングすることが、
前記イベント、前記イベントのロケーション、及び前記イベントの方向のうちの少なくとも１つの仮想インジケータを備える仮想コンテンツオーバーレイをレンダリングすることを含む、請求項３４に記載の方法。

【請求項36】

前記乗員の前記視線の前記方向内に前記仮想コンテンツをレンダリングするために、前記１つ又は複数のプロセッサが、
前記仮想コンテンツの１つ又は複数の特性を修正し、前記１つ又は複数の特性が、透明度、サイズ、前記仮想コンテンツのロケーション、及び輝度レベルのうちの少なくとも１つを含む、ように構成されている、請求項３４に記載の方法。

【請求項37】

前記車両のコンテキスト及び前記モバイルデバイスの前記姿勢に基づいて、前記仮想コンテンツの少なくとも一部をフィルタリングすること
を更に含む、請求項２５に記載の方法。

【請求項38】

前記仮想コンテンツの少なくとも一部をフィルタリングすることが、前記仮想コンテンツのサブセットの提示を可能にすることを含み、前記仮想コンテンツの前記サブセットが、前記車両の状況の指標及び車両計装情報のうちの少なくとも１つを含む、請求項３７に記載の方法。

【請求項39】

前記仮想コンテンツを表示することが、前記車両に関連付けられた仮想コンテンツアイテムをレンダリングすることを含み、前記仮想コンテンツアイテムが、前記車両の表面に対してレンダリングされる、請求項２５に記載の方法。

【請求項40】

前記レンダリングされた仮想コンテンツアイテムが、前記１つ又は複数のセンサに関連付けられた前記データにおいて識別されたイベントの第１の指標、前記車両のコンテキストの第２の指標、及び前記車両の前記コンテキストに関連付けられた警報のうちの少なくとも１つを含む、請求項３９に記載の方法。

【請求項41】

仮想コンテンツアイテムをレンダリングすることが、
前記車両のカメラデバイスからカメラフィードを受信することと、
前記カメラフィードの少なくとも一部を前記モバイルデバイスの表示領域内に表示することと、
を含む、請求項３９に記載の方法。

【請求項42】

前記モバイルデバイスの前記姿勢を判定することが、
１つ又は複数の無線周波数（ＲＦ）信号を取得することと、
前記１つ又は複数の画像と、前記１つ又は複数のＲＦ信号に関連付けられたラウンドトリップ時間、前記１つ又は複数のＲＦ信号に関連付けられた到着時間、及び前記１つ又は複数のＲＦ信号に関連付けられた受信信号強度インジケータ（ＲＳＳＩ）のうちの少なくとも１つとに基づいて、前記モバイルデバイスの前記姿勢を判定することと、
を含む、請求項２５に記載の方法。

【請求項43】

前記モバイルデバイスの前記姿勢を判定することが、
前記車両から、前記車両に関連付けられた１つ又は複数のマーカを含む車両テンプレートを受信することと、
前記１つ又は複数の画像及び前記車両テンプレートに基づいて、前記車両の前記座標系に対する前記モバイルデバイスの前記姿勢を判定することと、
を含む、請求項２５に記載の方法。

【請求項44】

前記１つ又は複数のマーカが、前記車両の前記内部内のエリア及び前記車両の前記内部に取り付けられたオブジェクトのうちの少なくとも一方の視覚パターン、前記車両の前記内部の要素、前記車両の前記内部内の表面、並びに前記車両の内側の照明されたオブジェクトのうちの少なくとも１つを含む、請求項４３に記載の方法。

【請求項45】

前記モバイルデバイスの前記姿勢を判定することが、
前記１つ又は複数の画像内の前記１つ又は複数のマーカを検出することと、
前記検出された１つ又は複数のマーカ及び前記車両テンプレートに基づいて、前記車両の前記座標系に対する前記モバイルデバイスの前記姿勢を判定することと、
を含む、請求項４３に記載の方法。

【請求項46】

前記モバイルデバイスの１つ又は複数の画像センサを使用して、前記車両の内部の画像のセットを取得することであって、前記画像のセットが、前記車両に関連付けられた１つ又は複数のマーカを描写する、ことと、
前記画像のセットに基づいて、前記１つ又は複数のマーカを含む車両テンプレートを生成することと、を更に含む、請求項２５に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

[0001] 本開示は、概して、車両乗員支援のためのエクステンデッドリアリティに関する。例えば、本開示の態様は、車両におけるエクステンデッドリアリティのためのビークルトゥデバイスインターフェースに関する。

【背景技術】

【0002】

[0002] 多くのデバイス及びシステムは、シーンの画像（又はフレーム）及び／又はビデオデータ（複数のフレームを含む）を生成することによって、シーンの取り込みを可能にする。例えば、カメラを有するデバイスは、シーンのフレームのシーケンス（例えば、シーンのビデオ）をキャプチャすることができる。場合によっては、フレームのシーケンスは、他の用途の中でも特に、１つ又は複数の機能のために処理され、表示のために出力され、他のデバイスによる処理及び／又は消費のために出力され得る。車両は、１つ又は複数のカメラを含み得るデバイスの一例である。例えば、車両は、車両の内部及び／又は車両の外部のエリアのフレームをキャプチャすることができるカメラを含むことができる。フレームは、他の目的の中でも特に、道路条件を判定又は認識すること、車両に近接する他の車両、オブジェクト、歩行者、及び／又は障害物を識別することなどの様々な目的のために処理することができる。

【0003】

[0003] エクステンデッドリアリティ（ＸＲ）デバイスは、１つ又は複数のカメラを含むことができるデバイスの別の例である。ＸＲデバイスは、拡張現実（ＡＲ）デバイス、仮想現実（ＶＲ）デバイス、複合現実（ＭＲ）デバイスなどを含むことができる。例えば、ＡＲデバイスの例は、スマートグラス及びヘッドマウントディスプレイ（ＨＭＤ）を含む。一般に、ＡＲデバイスは、カメラ及び様々なセンサを実装して、物理環境内のＡＲデバイス及び他のオブジェクトの位置を追跡することができる。ＡＲデバイスは、追跡情報を使用して、ＡＲデバイスのユーザに現実的なＡＲ体験を提供することができる。例えば、ＡＲデバイスは、ユーザが没入型仮想環境若しくはコンテンツを体験すること又はそれらと対話することを可能にすることができる。現実的なＡＲ体験を提供するために、ＡＲ技術は、概して、仮想コンテンツを物理世界と統合することを目的とする。いくつかの例では、ＡＲ技術は、オブジェクト及びデバイスの相対的な姿勢及び動きを一致させることができる。例えば、ＡＲデバイスは、追跡情報を使用して、デバイス、オブジェクト、及び／又は実世界環境のマップの相対姿勢を計算し、デバイス、オブジェクト、及び／又は実世界環境の相対位置と動きとを一致させることができる。１つ又は複数のデバイス、オブジェクト、及び／又は実世界環境の姿勢及び動きを使用して、ＡＲデバイスは、コンテンツを実世界環境に納得のいく様式で固定することができる。相対姿勢情報は、仮想コンテンツを、ユーザの知覚された動作、並びにデバイス、オブジェクト、及び実世界環境の時空間状態と一致させるために使用され得る。

【発明の概要】

【0004】

[0004] 拡張現実（ＡＲ）デバイスなどのモバイルデバイスを車両の動作と統合するためのシステム及び技術が、本明細書で説明される。少なくとも１つの例によれば、車両乗員支援のための拡張現実のための方法が提供される。本方法は、車両の内部の１つ又は複数の画像に基づいて、車両の座標系に対するモバイルデバイスの姿勢を判定することと、車両から、車両の１つ又は複数のセンサに関連付けられたデータを受信することと、モバイルデバイスのディスプレイデバイスを使用して、１つ又は複数のセンサに関連付けられたデータと、車両の座標系に対するモバイルデバイスの姿勢とに基づいて、仮想コンテンツを表示することと、を含むことができる。

【0005】

[0005] 少なくとも１つの例によれば、車両乗員支援のための拡張現実のための非一時的コンピュータ可読媒体が提供される。非一時的コンピュータ可読媒体は、記憶された命令を含むことができ、命令は、１つ又は複数のプロセッサによって実行されたとき、１つ又は複数のプロセッサに、車両の内部の１つ又は複数の画像に基づいて、車両の座標系に対するモバイルデバイスの姿勢を判定させる。車両から、車両の１つ又は複数のセンサに関連付けられたデータを受信し、モバイルデバイスのディスプレイデバイスを使用して、１つ又は複数のセンサに関連付けられたデータと、車両の座標系に対するモバイルデバイスの姿勢とに基づいて、仮想コンテンツを表示するように構成されている。

【0006】

[0006] 少なくとも１つの例によれば、車両乗員支援のための拡張現実のための装置が提供される。本装置は、メモリと、メモリに結合された１つ又は複数のプロセッサとを含むことができ、１つ又は複数のプロセッサは、車両の内部の１つ又は複数の画像に基づいて、車両の座標系に対するモバイルデバイスの姿勢を判定するように構成されている。車両から、車両の１つ又は複数のセンサに関連付けられたデータを受信し、モバイルデバイスのディスプレイデバイスを使用して、１つ又は複数のセンサに関連付けられたデータと、車両の座標系に対するモバイルデバイスの姿勢とに基づいて、仮想コンテンツを表示するように構成されている。

【0007】

[0007] 少なくとも１つの例によれば、車両乗員支援のための拡張現実のための別の装置が提供される。本装置は、車両の内部の１つ又は複数の画像に基づいて、車両の座標系に対するモバイルデバイス（例えば、装置）の姿勢を判定するための手段を含み得る。車両から、車両の１つ又は複数のセンサに関連付けられたデータを受信することと、モバイルデバイスのディスプレイデバイスを使用して、１つ又は複数のセンサに関連付けられたデータと、車両の座標系に対するモバイルデバイスの姿勢とに基づいて、仮想コンテンツを表示することと、を含むことができる。

【0008】

[0008] いくつかの態様では、上記で説明した方法、非一時的コンピュータ可読媒体、及び装置は、１つ又は複数のセンサに関連するデータに基づいて、車両のコンテキストを判定することができる。いくつかの例では、コンテキストは、車両に関連するイベントを含むことができる。

【0009】

[0009] いくつかの態様では、上記で説明した方法、非一時的コンピュータ可読媒体、及び装置は、モバイルデバイスの座標系に対する仮想コンテンツのロケーションを、車両の座標系に対するイベントのロケーションに関連付け、モバイルデバイスの座標系に対する仮想コンテンツのロケーションと車両の座標系に対するイベントのロケーションとの関連付けに基づいて、モバイルデバイスの１つ又は複数の視覚画像センサからのライブコンテンツフィードを表示することができる。

【0010】

[0010] いくつかの例では、ライブコンテンツフィードを表示することは、車両の座標系に対するモバイルデバイスの姿勢と、イベントに対する車両の姿勢とに基づいて、イベントに対するモバイルデバイスの姿勢を判定することと、イベントに対するモバイルデバイスの姿勢と、モバイルデバイスの座標系に対する仮想コンテンツのロケーションと車両の座標系に対するイベントのロケーションとの関連付けとに基づいて、仮想コンテンツが、車両の乗員の視野内でイベントを少なくとも部分的に遮蔽することを判定することと、を含むことができる。

【0011】

[0011] いくつかの態様では、上記で説明した方法、非一時的コンピュータ可読媒体、及び装置は、モバイルデバイスの座標系に対する仮想コンテンツアイテムのロケーションを、車両の座標系に対するイベントのロケーションに関連付け、モバイルデバイスの座標系に対する仮想コンテンツのロケーションと車両の座標系に対するイベントのロケーションとの関連付けに基づいて、仮想コンテンツアイテムをフィルタリング又は修正することができる。

【0012】

[0012] いくつかの例では、仮想コンテンツアイテムをフィルタリング又は修正することは、仮想コンテンツアイテムの１つ又は複数の特性を修正することを含むことができる。場合によっては、１つ又は複数の特性は、透明度、サイズ、仮想コンテンツアイテムのロケーション、及び仮想コンテンツアイテムの輝度レベルのうちの少なくとも１つを含むことができる。

【0013】

[0013] いくつかの例では、仮想コンテンツアイテムをフィルタリング又は修正することは、車両の乗員の視線を判定することであって、乗員はモバイルデバイスに関連付けられている、ことと、乗員の視線及びイベントのロケーションに基づいて、乗員に対するイベントの可視性を判定することと、乗員に対するイベントの可視性に更に基づいて、仮想コンテンツアイテムをフィルタリング又は修正することとを含むことができる。

【0014】

[0014] いくつかの例では、イベントが、車両の経路内のオブジェクトの存在又は車両の経路への閾値近接度、車両の経路に関連付けられた交通規制、並びに車両が速度制限及び車線区分線のうちの少なくとも１つ内に留まらなかったこと、のうちの少なくとも１つを含むことができる。場合によっては、車両の経路内のオブジェクト又は車両の経路に対する閾値近接度が、歩行者、動物、及び別の車両のうちの少なくとも１つを含む。

【0015】

[0015] いくつかの態様では、上記で説明された方法、非一時的コンピュータ可読媒体、及び装置は、車両の乗員の視線を判定し、乗員はモバイルデバイスに関連付けられており、車両の乗員の視線の方向内に仮想コンテンツをレンダリングすることができる。

【0016】

[0016] 場合によっては、乗員の視線の方向内に仮想コンテンツをレンダリングすることは、イベント、イベントのロケーション、及びイベントの方向のうちの少なくとも１つの仮想インジケータを備える仮想コンテンツオーバーレイをレンダリングすることを含むことができる。

【0017】

[0017] 場合によっては、乗員の視線の方向内に仮想コンテンツをレンダリングすることは、仮想コンテンツの１つ又は複数の特性を修正することを含むことができる。場合によっては、１つ又は複数の特性は、透明度、サイズ、仮想コンテンツのロケーション、及び輝度レベルのうちの少なくとも１つを含むことができる。

【0018】

[0018] いくつかの態様では、上記で説明した方法、非一時的コンピュータ可読媒体、及び装置は、車両のコンテキスト及びモバイルデバイスの姿勢に基づいて、仮想コンテンツの少なくとも一部をフィルタリングすることを更に含むことができる。

【0019】

[0019] 場合によっては、仮想コンテンツの少なくとも一部をフィルタリングすることは、仮想コンテンツのサブセットの提示を可能にすることを含むことができる。いくつかの例では、仮想コンテンツのサブセットは、車両の状況の指標及び車両計装情報のうちの少なくとも１つを含むことができる。

【0020】

[0020] いくつかの態様では、仮想コンテンツを表示することは、車両に関連付けられた仮想コンテンツアイテムをレンダリングすることを含み得、仮想コンテンツアイテムは、車両の表面に対してレンダリングされる。

【0021】

[0021] 場合によっては、レンダリングされた仮想コンテンツアイテムは、１つ又は複数のセンサに関連付けられたデータにおいて識別されたイベントの第１の指標、車両のコンテキストの第２の指標、及び車両のコンテキストに関連付けられた警報のうちの少なくとも１つを含むことができる。

【0022】

[0022] いくつかの態様では、仮想コンテンツアイテムをレンダリングすることは、車両のカメラデバイスからカメラフィードを受信することと、カメラフィードの少なくとも一部をモバイルデバイスの表示領域内に表示することとを含むことができる。

【0023】

[0023] 場合によっては、モバイルデバイスの姿勢を判定することは、１つ又は複数の無線周波数（ＲＦ）信号を取得することと、１つ又は複数の画像と、１つ又は複数のＲＦ信号に関連付けられたラウンドトリップ時間、１つ又は複数のＲＦ信号に関連付けられた到着時間、及び１つ又は複数のＲＦ信号に関連付けられた受信信号強度インジケータ（ＲＳＳＩ）のうちの少なくとも１つとに基づいて、モバイルデバイスの姿勢を判定することと、を含むことができる。

【0024】

[0024] 場合によっては、モバイルデバイスの姿勢を判定することは、車両から、車両に関連付けられた１つ又は複数のマーカを含む車両テンプレートを受信することと、１つ又は複数の画像及び車両テンプレートに基づいて、車両の座標系に対するモバイルデバイスの姿勢を判定することとを含むことができる。

【0025】

[0025] いくつかの例では、１つ又は複数のマーカは、車両の内部内のエリア及び車両の内部に取り付けられたオブジェクトのうちの少なくとも一方の視覚パターン、車両の内部の要素、車両の内部内の表面、並びに車両の内側の照明されたオブジェクトのうちの少なくとも１つを含むことができる。

【0026】

[0026] 場合によっては、モバイルデバイスの姿勢を判定することは、１つ又は複数の画像内の１つ又は複数のマーカを検出することと、検出された１つ又は複数のマーカ及び車両テンプレートに基づいて、車両の座標系に対するモバイルデバイスの姿勢を判定することと、を含むことができる。

【0027】

[0027] いくつかの態様では、上記で説明した方法、非一時的コンピュータ可読媒体、及び装置は、モバイルデバイスの１つ又は複数の画像センサを使用して、車両の内部の画像のセットを取得し、画像のセットが、車両に関連付けられた１つ又は複数のマーカを描写し、画像のセットに基づいて、１つ又は複数のマーカを含む車両テンプレートを生成することができる。

【0028】

[0028] いくつかの態様では、上述した装置の各々は、モバイルデバイス、ウェアラブルデバイス、カメラシステム、パーソナルコンピューティングデバイス及び／又はエクステンデッドリアリティ（extended reality、ＸＲ）デバイス（例えば、仮想現実（virtual reality、ＶＲ）デバイス、拡張現実（augmented reality、ＡＲ）デバイス、又は複合現実（mixed reality、ＭＲ）デバイス）である、それらの一部であってもよい、又はそれらを含むことができる。いくつかの例では、装置は、車両、モバイルデバイス（例えば、携帯電話又はいわゆる「スマートフォン」又は他のモバイルデバイス）、ウェアラブルデバイス、パーソナルコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバコンピュータ、ロボティクスデバイス又はシステム、航空システム、あるいは他のデバイスを含むか、又はそれらの一部である及び／又はそれらとインターフェースすることができる。いくつかの態様では、装置は、１つ又は複数の画像をキャプチャするための画像センサ（例えば、カメラ）又は複数の画像センサ（例えば、複数のカメラ）を含む。いくつかの態様では、装置は、１つ又は複数の画像、通知、及び／又は他の表示可能なデータを表示するための１つ又は複数のディスプレイを含む。いくつかの態様では、装置は、１つ又は複数のスピーカ、１つ又は複数の発光デバイス、及び／又は１つ又は複数のマイクロフォンを含む。いくつかの態様では、上記で説明した装置は、１つ又は複数のセンサを含んでもよい。場合によっては、１つ又は複数のセンサは、装置の姿勢、装置の状態（例えば、追跡状態、動作状態、温度、湿度レベル、及び／又は他の状態）を判定するために、かつ／又は他の目的のために使用することができる。本明細書で使用される場合、姿勢という用語は、座標系に対する装置、センサ、又は他の実世界のデバイス若しくは構造の位置及び向きを指す。

【0029】

[0029] 本概要は、特許請求される主題の主要な又は必須の特徴を特定することは意図されず、特許請求される主題の範囲を決定するために独立して使用されることも意図されない。本主題は、この特許の明細書全体、いずれか又はすべての図面、及び各請求項の適切な部分を参照することによって理解されるはずである。

【0030】

[0030] 上記のことは、他の特徴及び実施形態とともに、以下の明細書、特許請求の範囲、及び添付図面を参照すると、より明らかになろう。

【図面の簡単な説明】

【0031】

[0031] 本出願の説明のための例について、以下の図を参照しながら以下で詳細に説明する。

【図1】[0032] 本開示のいくつかの例による、モバイルデバイスのコンピューティングシステムの一例を示す図である。

【図2】[0033] 本開示のいくつかの例による、車両のコンピューティングシステムの一例を示すブロック図である。

【図3】[0034] 本開示のいくつかの例による、車両内位置特定のための例示的なシステムプロセスを示す図である。

【図4A】[0035] 本開示のいくつかの例による、車両乗員支援のための拡張現実のための例示的なシステムプロセスを示す図である。

【図4B】本開示のいくつかの例による、車両乗員支援のための拡張現実のための例示的なシステムプロセスを示す図である。

【図5】[0036] 本開示のいくつかの例による、車両の乗員のためにレンダリングされる仮想コンテンツを調整するための例示的なユースケースを示す図である。

【図6A】[0037] 本開示のいくつかの例による、仮想コンテンツを調整するための例示的なユースケースを示す図である。

【図6B】本開示のいくつかの例による、仮想コンテンツを調整するための例示的なユースケースを示す図である。

【図6C】本開示のいくつかの例による、仮想コンテンツを調整するための例示的なユースケースを示す図である。

【図6D】本開示のいくつかの例による、仮想コンテンツを調整するための例示的なユースケースを示す図である。

【図6E】本開示のいくつかの例による、仮想コンテンツを調整するための例示的なユースケースを示す図である。

【図7A】[0038] 本開示のいくつかの例による、車両を運転する乗員の異なる例示的な状態を示す図である。

【図7B】本開示のいくつかの例による、車両を運転する乗員の異なる例示的な状態を示す図である。

【図7C】本開示のいくつかの例による、車両を運転する乗員の異なる例示的な状態を示す図である。

【図7D】本開示のいくつかの例による、車両を運転する乗員の異なる例示的な状態を示す図である。

【図7E】本開示のいくつかの例による、車両を運転する乗員の異なる例示的な状態を示す図である。

【図7F】本開示のいくつかの例による、車両を運転する乗員の異なる例示的な状態を示す図である。

【図7G】本開示のいくつかの例による、車両を運転する乗員の異なる例示的な状態を示す図である。

【図7H】本開示のいくつかの例による、車両を運転する乗員の異なる例示的な状態を示す図である。

【図7I】本開示のいくつかの例による、車両を運転する乗員の異なる例示的な状態を示す図である。

【図8】[0039] 本開示のいくつかの例による、乗員監視イベントを含むビークルトゥエブリシング通信の例を示す図である。

【図9】[0040] 本開示のいくつかの例による、車両を運転する乗員によって装着されたモバイルデバイスによって判定された乗員状態に基づく例示的な車両緩和イベントを示す図である。

【図10】本開示のいくつかの例による、車両を運転する乗員によって装着されたモバイルデバイスによって判定された乗員状態に基づく例示的な車両緩和イベントを示す図である。

【図11】[0041] 本開示のいくつかの例による、車両の動作中に仮想コンテンツの提示を制御するための例示的プロセスを示すフローチャートである。

【図12】[0042] 本開示のいくつかの例による、車両の乗員を監視するための例示的なプロセスを示すフローチャートである。

【図13】[0043] 本開示のいくつかの例による、車両の動作を制御するための例示的なプロセスを示すフローチャートである。

【図14】[0044] 本開示のいくつかの例による、車両を、車両の乗員に関連付けられたモバイルデバイスとインターフェースするための例示的なプロセスを示すフローチャートである。

【図15】[0045] 本開示のいくつかの例による、コンピューティングデバイスアーキテクチャの一例を示す図である。

【発明を実施するための形態】

【0032】

[0046] 本開示のいくつかの態様及び実施形態が、以下で提供される。当業者に明らかになるように、これらの態様及び実施形態のうちのいくつかが独立して適用されてよく、それらのうちのいくつかは組み合わせて適用されてもよい。以下の説明では、説明の目的のために、本出願の実施形態の完全な理解をもたらすために具体的な詳細が記載される。しかしながら、様々な実施形態がこれらの具体的な詳細なしに実践され得ることが明らかとなろう。図及び説明は限定的であることが意図されていない。

【0033】

[0047] 以下の説明は、例示的な実施形態を提供するにすぎず、本開示の範囲、適用可能性、又は構成を限定することを意図しない。むしろ、例示的な実施形態の以下の説明は、例示的な実施形態を実装することを可能にする説明を当業者に提供する。添付の特許請求の範囲に記載されるような本出願の範囲から逸脱することなく、要素の機能及び構成において様々な変更が加えられてもよいことを理解されたい。

【0034】

[0048] エクステンデッドリアリティ（ＸＲ）システム又はデバイスは、ＸＲ体験をユーザに提供するために、ユーザに仮想コンテンツを提供することができ、及び／あるいは実世界又は物理環境と（仮想コンテンツからなる）仮想環境とを組み合わせることができる。実世界環境は、本、人、車両、建物、テーブル、椅子、及び／又は他の実世界若しくは物理オブジェクトなどの実世界オブジェクト（物理オブジェクトとも呼ばれる）を含むことができる。ＸＲシステム又はデバイスは、異なるタイプのＸＲ環境との対話を容易にすることができる（例えば、ユーザは、ＸＲシステム又はデバイスを使用して、ＸＲ環境と対話することができる）。ＸＲシステムは、仮想現実（ＶＲ）環境との対話を容易にするＶＲシステム、拡張現実（ＡＲ）環境との対話を容易にするＡＲシステム、複合現実（ＭＲ）環境との対話を容易にするＭＲシステム、及び／又は他のＸＲシステムを含むことができる。本明細書で使用される場合、ＸＲシステム及びＸＲデバイスという用語は互換的に使用される。ＸＲシステム又はデバイスの例は、特に、ヘッドマウントディスプレイ（ＨＭＤ）、スマートグラスを含む。場合によっては、ＸＲシステムは、ユーザが仮想コンテンツのアイテムと対話することを可能にするために、ユーザの部分（例えば、ユーザの手及び／又は指先）を追跡することができる。

【0035】

[0049] ＡＲは、仮想コンテンツ又はコンピュータ生成コンテンツ（ＡＲコンテンツと称される）を、物理的な実世界のシーン又は環境のユーザの視界にわたって提供する技術である。ＡＲコンテンツは、ビデオ、画像、グラフィックコンテンツ、ロケーションデータ（例えば、全地球測位システム（ＧＰＳ）データ又は他のロケーションデータ）、音、それらの任意の組み合わせ、及び／又は他の拡張コンテンツ等の仮想コンテンツを含むことができる。ＡＲシステム又はデバイスは、現実の人の現在の知覚を置換するのではなく、強化（又は拡張）するように設計される。例えば、ユーザは、ＡＲデバイスディスプレイを通して、実際の静止又は移動する物理オブジェクトを見ることができるが、物理オブジェクトのユーザの視覚認知は、そのオブジェクトの仮想画像（例えば、ＤｅＬｏｒｅａｎの仮想画像によって置換される実世界の車）によって、物理オブジェクトに追加されるＡＲコンテンツ（例えば、生きている動物に追加される仮想翼）によって、物理オブジェクトに対して表示されるＡＲコンテンツ（例えば、建物上の標識の近傍に表示される情報仮想コンテンツ、１つ又は複数の画像内の実世界のテーブルに仮想的に係留される（例えば、その上に配置される）仮想コーヒーカップ等）によって、及び／又は他のタイプのＡＲコンテンツを表示することによって、拡張又は強化されてもよい。様々なタイプのＡＲシステムが、ゲーム、娯楽、及び／又は他のアプリケーションのために使用され得る。

【0036】

[0050] 場合によっては、ＡＲコンテンツを提供するために使用することができる２つのタイプのＡＲシステムは、ビデオシースルー（ビデオパススルーとも呼ばれる）ディスプレイ及び光学シースルーディスプレイを含む。ビデオシースルー及び光学シースルーディスプレイは、実世界又は物理オブジェクトのユーザの視覚認知を強化させるために使用されることができる。ビデオシースルーシステムでは、実世界のシナリオのライブビデオが表示される（例えば、ライブビデオ上で拡張又は強化された１つ又は複数のオブジェクトを含む）。ビデオシースルーシステムは、モバイルデバイス（例えば、携帯電話ディスプレイ上のビデオ）、ＨＭＤ、又はビデオ及びコンピュータ生成オブジェクトをビデオの上に表示することができる他の適切なデバイスを使用して実装することができる。

【0037】

[0051] ＡＲ特徴を伴う光学シースルーシステムは、ＡＲコンテンツを実世界場面のビュー上に直接表示することができる（例えば、実世界シーンのビデオコンテンツを表示することなく）。例えば、ユーザは、ディスプレイ（例えば、眼鏡又はレンズ）を通して実世界シーン内の物理オブジェクトを視認してもよく、ＡＲシステムは、１つ又は複数の実世界オブジェクトの強化された視覚認知をユーザに提供するために、ディスプレイ上にＡＲコンテンツを表示する（例えば、投影又は別様に表示される）ことができる。光学シースルーＡＲシステム又はデバイスの実施例は、ＡＲメガネ、ＨＭＤ、別のＡＲヘッドセット、又はユーザが物理オブジェクトを伴う実世界シーンを直接見ることを可能にするために、各目の正面のレンズ若しくはガラス（又は両眼の上の単一レンズ若しくはガラス）を含むことができる他の類似デバイスであり、また、そのオブジェクトの拡張画像又は追加ＡＲコンテンツがディスプレイ上に投影され、ユーザの実世界シーンの視覚認知を強化することを可能にする。

【0038】

[0052] ＶＲは、３次元コンピュータ生成ＶＲ環境又は実世界環境の仮想バージョンを描写するビデオにおける完全な没入型体験を提供する。ＶＲ環境は、一見したところ現実的又は物理的な方法で相互作用できる。ＶＲ環境を体験しているユーザが現実世界において移動するにつれて、仮想環境においてレンダリングされる画像も変化し、ユーザがＶＲ環境内で移動しているという知覚をユーザに与える。例えば、ユーザは、左又は右を向き、見上げるか又は見下ろし、及び／あるいは前方又は後方に移動し、したがって、ＶＲ環境のユーザの視点を変更することができる。ユーザに提示されるＶＲコンテンツはそれに従って変化することができるので、ユーザの体験は現実世界と同じくらいシームレスである。ＶＲコンテンツは、いくつかの場合には、ＶＲビデオを含むことができ、ＶＲビデオは、極めて高い品質でキャプチャ及びレンダリングされ、真に没入型の仮想現実エクスペリエンスを潜在的に提供することができる。仮想現実の用途例は、特にゲーミング、訓練、教育、スポーツビデオ、オンラインショッピングを含むことができる。ＶＲコンテンツは、ＶＲ体験中にユーザの目を完全に覆うＶＲ ＨＭＤ又は他のＶＲヘッドセットなど、ＶＲシステム又はデバイスを使用してレンダリング及び表示され得る。

【0039】

[0053] ＭＲ技術は、ＶＲ及びＡＲの態様を組み合わせて、ユーザに没入型体験を提供することができる。例えば、ＭＲ環境では、実世界及びコンピュータ生成オブジェクトは、相互作用することができる（例えば、現実の人物は、仮想人物が現実の人物であるかのように仮想人物と相互作用することができる）。

【0040】

[0054] ＸＲデバイス（例えば、拡張現実（ＡＲ）又は複合現実（ＭＲ）デバイス、仮想現実（ＶＲ）デバイスなど）、ネットワーキング／通信能力を有するウェアラブルデバイス、スマートフォン、パーソナルコンピューティングデバイスなどの車両及びモバイル（ポータブル及び／又はウェアラブル）デバイスからのデータ、機能、アクション、及び／又はデバイス能力を統合するためのシステム、装置、方法（プロセスとも呼ばれる）、及びコンピュータ可読媒体（本明細書では集合的に「システム及び技術」と呼ばれる）が本明細書で説明される。いくつかの例では、本明細書に記載されるシステム及び技術は、ＸＲデバイス（例えば、ＡＲデバイス、ＭＲデバイスなど）及び／又は車両からのデータ及び／又は機能性を使用して車両の乗員に支援を提供することができる。例えば、場合によっては、本明細書で説明されるシステム及び技術は、拡張現実支援のためのビークルトゥデバイス（例えば、車両・モバイルコンピューティングデバイス間）インターフェースを車両の乗員に提供することができる。

【0041】

[0055] いくつかの例では、車両は、車両の内部及び／又は車両の外部のエリア（例えば、車両周囲）のフレームをキャプチャすることができるカメラを含むことができる。フレームは、とりわけ、道路条件を判定又は認識すること、車両内の人（単数又は複数）のアイデンティティを認識することと、車両に近接する他の車両、オブジェクト、歩行者、及び／又は障害物を識別することなどの様々な目的のために処理することができる。車両に関連付けられた環境（例えば、車両の外部の環境、車両の内側の環境など）における活動及び／又はイベントを判定及び／又は認識することなどの様々な目的のために処理することができる。車両はまた、様々な条件を測定及び／又は判定するための他のタイプのセンサシステムを含む及び／又は実装することができる。例えば、場合によっては、車両は、１つ又は複数の無線検出及び測距（ＲＡＤＡＲ）システム、慣性測定ユニット（ＩＭＵ）、光検出及び測距（ＬＩＤＡＲ）システム、超音波センサ、無線周波数（ＲＦ）センサ、音響航法及び測距（ＳＯＮＡＲ）システム、電磁検出及び測距（ＥｍＤＡＲ）システム、音響検出及び測距（ＳＯＤＡＲ）システム、全地球航法衛星システム（ＧＮＳＳ）受信機システム（例えば、１つ又は複数の全地球測位システム（ＧＰＳ）受信機システム）、加速度計、ジャイロスコープ、速度センサ、赤外線センサシステム、レーザ測距システム、超音波センサシステム、超低周波センサシステム、マイクロフォン、それらの任意の組み合わせ、及び／又は他のセンサシステムを含む、及び／又は実装することができる。

【0042】

[0056] ＸＲデバイス（例えば、ヘッドマウントディスプレイＡＲデバイス、ＡＲスマートグラス、又は他のＸＲデバイス）などのモバイルデバイスは、画像及び／又はビデオをキャプチャすることができる１つ又は複数のカメラを含むこともできる。例えば、ＡＲデバイスは、カメラ及び様々なセンサを実装して、物理環境内のＡＲデバイス及び他のオブジェクトの位置を判定及び／又は追跡することができる。ＡＲデバイスは、追跡情報を使用して、ＡＲデバイスのユーザに現実的なＡＲ体験を提供することができる。例えば、ＡＲデバイスは、ユーザが没入型仮想環境若しくはコンテンツを体験すること又はそれらと対話することを可能にすることができる。上述したように、現実的なＡＲ体験を提供するために、ＡＲ技術は、概して、仮想コンテンツを物理世界と統合することを目的とする。いくつかの例では、ＡＲデバイスは、１つ又は複数のセンサからの追跡情報を使用して、デバイス、オブジェクト、及び／又は実世界環境のマップの相対姿勢を計算し、デバイス、オブジェクト、及び／又は実世界環境の相対位置と動きとを一致させることができる。１つ又は複数のデバイス、オブジェクト、及び／又は実世界環境の姿勢及び動きを使用して、ＡＲデバイスは、コンテンツを実世界環境に納得のいく様式で固定することができる。相対姿勢情報は、仮想コンテンツを、ユーザの知覚された動作、並びにデバイス、オブジェクト、及び実世界環境の時空間状態と一致させるために使用され得る。

【0043】

[0057] ＸＲデバイス（例えば、ＡＲデバイス）のユーザは、ユーザが車両内にいる間（例えば、ユーザが車両を運転している間、又は車両内の乗客として）、ＸＲデバイスを装着することがある。例えば、場合によっては、ユーザは、車両を操作（例えば、運転）している間にＡＲデバイスを装着し得る。場合によっては、ＡＲデバイスを装着し、車両を操作するユーザ（例えば、運転者）は、例えば、注意散漫等の１つ又は複数の条件によって損なわれ得る。換言すれば、車両を操作するユーザの能力は、そのような条件によって損なわれる可能性がある。注意散漫は、ユーザの外部の原因などの様々なものによって引き起こされ得る。例えば、ユーザは、ＡＲデバイスによってレンダリングされる仮想コンテンツ（例えば、電子メール通知、ワールドロックされた仮想広告板又は標識、アプリケーションコンテンツ、ビデオ及び／又は画像コンテンツ、インターフェースコンテンツ等）、車両の外部の環境内で発生するオブジェクト及び／又は活動、車両の内側で発生するオブジェクト及び／又はイベント、車両の他の乗員、思考及び／又は不注意（例えば、空想等）、音又は雑音（例えば、車両の内側及び／又は外側）、ユーザデバイス等によって注意を逸らされ得る。

【0044】

[0058] そのような注意散漫がなくても、車両の乗員（例えば、運転者）は、一般に、他の障害に悩まされる可能性がある。他の障害は、例えば、知覚の制限、注意の制限、実世界のイベント及び条件、睡眠妨害、中毒、健康状態などの特定の身体的及び／又は個人的な制限及び／又は条件を含むことができ、及び／又はそれらから生じることができる。例えば、ＡＲデバイスを装着している車両の乗員（例えば、運転者）は、乗員の視点又は視野から車両の周囲の特定のエリア／ビュー（例えば、車両の後ろのエリア、車両の下のエリア、車両の外部に近いエリア、１つ又は複数のオブジェクト及び／又は状態（例えば、照明不足など）によって遮られたエリア、車両の上のエリア、車両から特定の距離だけ離れたエリアなど）を見ることが困難な場合がある。更に、溜まり水、氷、車両の１つ又は複数のライト（例えば、ヘッドライト、フォグランプ、オフロードライト、非常灯、信号灯、日中走行灯、後退灯、テールライト、ブレーキライトなど）の届かない障害物など、特定の道路条件が車両の乗員に見えないか、又は見えにくい可能性がある。車両の乗員はまた、通過車両、歩行者、周囲の活動／イベント、ナビゲーション警報などの特定のイベント及びオブジェクトによって注意を逸らされる可能性がある。場合によっては、そのような障害は、車両を安全に操作するか、又は運転条件に対応する運転者の能力を妨げる可能性がある。

【0045】

[0059] いくつかの態様では、本明細書で説明されるシステム及び技術は、車両及びＸＲデバイス（例えば、ＡＲデバイス）からのデータ、機能、アクション、及び／又はデバイス能力を共有／統合するためなど、車両及びＸＲデバイスが互いにインターフェースすることを可能にすることができる。互いにインターフェースし、データを共有／統合することにより、車両及びＸＲデバイス（例えば、ＡＲデバイス）は、例えば、車両の運転者／操作者、車両の乗客などの車両の乗員に支援を提供することができる。いくつかの例では、ＸＲデバイス（例えば、ＡＲデバイス）は、車両及び／又はＸＲデバイス上の１つ又は複数のセンサからのデータを使用して、車両内（例えば、車両キャビンなどの車両の内部内）でそれ自体の位置を特定する（その位置及び／又は向き、一般にその姿勢を判定する）ことができる。場合によっては、ＸＲデバイスは、車両内ランドマーク／マーカ（例えば、車両内のクイックレスポンス（ＱＲ）コード、車両内のライト、車両内のオブジェクト（例えば、ドア、窓、座席、ヘッドレスト、ダッシュボード構成要素、車両制御システム（例えば、ハンドル、ホーン、信号伝達システムなど）、車両内のパターン、車両内の形状など）の画像ベース（例えば、視覚ベース）及び／又はオーディオベース（例えば、オーディオビームフォーミングを介して）の位置特定を実行することができる位置特定プロセスを実装することができる。位置特定プロセスは、そのような車両内ランドマーク／マーカを使用して、車両内のＸＲデバイスの位置を特定することができる。例えば、位置特定プロセスは、車両内ランドマーク／マーカを使用して、ＸＲデバイス及び／又は車両の座標系に対するＸＲデバイスの姿勢を判定することができる。

【0046】

[0060] 場合によっては、位置特定プロセスは、１つ又は複数のカメラ、無線インターフェース、超音波センサ、レーダなど、ＸＲデバイス（例えば、ＡＲデバイス）上の１つ又は複数のデバイス（例えば、センサ、エミッタ、トランシーバ、撮像デバイスなど）からのデータに基づいて、車両内ランドマークを検出することができる。例えば、１つ又は複数のＩＭＵからの補助センサデータを使用して、ＸＲデバイスの姿勢を追跡することができる。場合によっては、位置特定プロセスは、車両テンプレートを使用して、車両テンプレート内で指定され、上述のように検出された１つ又は複数の車両内ランドマークに対するＸＲデバイスの位置を判定することができる。例えば、位置特定プロセスは、車両テンプレートを使用して、位置特定のために使用することができる１つ又は複数の車両内ランドマークを識別することができる。場合によっては、車両テンプレートは、１つ又は複数の車両内ランドマークの位置及び／又は向き情報などの座標を指定することができ、位置特定プロセスは、それを使用して、ＸＲデバイス（例えば、ＡＲデバイス）及び／又は車両の座標系に対してそれ自体を位置特定することができる。例えば、位置特定プロセスは、上述したような１つ又は複数のデバイス（例えば、センサ、エミッタ、トランシーバなど）からのデータを使用して、車両テンプレートにおいて識別された１つ又は複数の車両内ランドマークを検出することができる。車両テンプレートは、１つ又は複数の車両内ランドマークの座標を指定することができ、これは、車両の座標系に対する１つ又は複数の車両内ランドマークの位置及び／又は向きを定義することができる。車両テンプレートは、車両固有であってもよいし、車両モデル、仕様、シリーズ、クラス、又はそれらの組み合わせに固有であってもよい。位置特定プロセスは、車両テンプレートにおいて指定された座標を使用して、ＸＲデバイス（例えば、ＡＲデバイス）によって検出された１つ又は複数の車両内ランドマークの、車両の座標系に対する位置及び／又は向きを判定することができる。位置特定プロセスは、車両の座標系に対する１つ又は複数の車両内ランドマークのロケーション及び／又は向きを、ＸＲデバイスの座標系に対するロケーション及び／又は向きに変換、平行移動、及び／又は相関させることができる。ＸＲデバイス（例えば、ＡＲデバイス）は、１つ又は複数の車両内ランドマークに関連付けられたロケーション情報及び／又は向き情報を使用して、車両内の、ＸＲデバイスの座標系及び／又は車両の座標系に対するＸＲデバイスの姿勢を理解、判定、及び／又は追跡することができる。

【0047】

[0061] いくつかの態様では、ＸＲデバイスは、車両の状況、乗員の位置／向き、ＸＲデバイスによってレンダリングされる仮想コンテンツ、ＸＲデバイス上の１つ又は複数のカメラを使用する目追跡、慣性センサデータ、オーディオセンサデータ、レーダデータ、無線信号などに基づいて、障害についてユーザを監視することができる運転者監視プロセスなどの乗員監視プロセスを実施することができる。いくつかの例では、ＸＲデバイスは、車両及び乗員監視プロセスからの状況に基づいて、仮想コンテンツが乗員（例えば、運転者又は乗客）に提示されるのをフィルタリング又はブロックすることができる仮想コンテンツフィルタリングプロセスを含むことができる。車両ユーザインターフェースプロセスは、例えば、車両及び乗員監視プロセスからの状況に基づいて、ユーザインターフェース要素をレンダリングすることができる。

【0048】

[0062] 場合によっては、車両は、車両、車両の乗員、及び／又は車両の周囲に関連する状況及び／又はイベントを認識及び監視することができる車両監視プロセスを実施することができる。車両監視プロセスは、そのような条件／イベントに関するデータを、車両とワイヤレス通信している、例えばペアリングされているＸＲデバイス（例えば、ＡＲデバイス）に（例えば、ワイヤレス無線リンクを介して）送信することができる。ＸＲデバイスは、乗員監視プロセス、仮想コンテンツフィルタリングプロセス、車両ユーザインターフェースプロセスなどのためにそのようなデータを使用することができる。いくつかの例では、車両は、ＸＲデバイスによって検出された乗員条件及び／又は活動など、ＸＲデバイスによって生成された乗員（例えば、運転者）監視イベントに基づいて、車両動作及び／又は自律運転ポリシーを変更することができるイベント緩和プロセスを実施することができる。

【0049】

[0063] 前述したように、場合によっては、ＸＲデバイス（例えば、ＡＲデバイス）の車両内位置特定プロセスは、ＸＲデバイスが車両内のＸＲデバイスの姿勢を理解することを可能にすることができる。ＸＲデバイスは、位置特定プロセスを使用して、車両の座標系に対する、及び／又は車両の座標系内のその姿勢を判定することができる。例えば、車両ベースのセンサ及び／又は命令からのデータ及び／又はイベントをレンダリングするために、ＸＲデバイスは、位置特定プロセスを使用して、車両の座標系に対するＸＲデバイスの姿勢の共通の理解を得ることができる。場合によっては、位置特定プロセスは、車両の座標系からＸＲの座標系への変換を実行することができる。場合によっては、ＸＲデバイスが車両内で自己位置を特定し、かつ／又は車両の内部を３次元（３Ｄ）空間にマッピングするのを助けるために、車両は、車両テンプレートをＸＲデバイスに提供することができる。車両テンプレートは、例えば、限定はしないが、１つ又は複数の車両内ランドマークの視覚記述子、ＩＲ記述子、及び／又はＲＦ記述子を含むことができる。車両内ランドマークの非限定的な例としては、とりわけ、車両の内部（例えば、キャビン）内のオブジェクト又はエリア（例えば、キャビン内のオブジェクト／エリア、フロントガラス上のエリア、ダッシュボード上のオブジェクト／エリア、ドア上のオブジェクト／エリア、座席上のオブジェクト／エリアなど）に取り付けられた視覚パターン（例えば、ＱＲコード、チェッカー盤パターンなどの較正パターン、刻印／彫刻、パターン化材料、ラベルなど）、車両の内部内のオブジェクト及び／又はエリアに取り付けられた能動照明（例えば、発光ダイオード（ＬＥＤ）など）、車両の内部の不動要素（例えば、インストルメントクラスタ、ダッシュボードのコーナー（単数又は複数）、窓（単数又は複数）及び／又はフロントガラスのコーナー（単数又は複数）、車両のルーフ、車両のセンターコンソールなど）、車両の本体から既知の位置／オフセットを有する車両の内部の可動要素（例えば、乗客席（単数又は複数）、ハンドルなど）を挙げることができる。いくつかの例では、車両テンプレートは、車両の座標系に対する車両内ランドマークのロケーション及び／又は向きを含む／指定することができる。

【0050】

[0064] ＸＲデバイス（例えば、ＡＲデバイス）の位置特定プロセスは、車両内ランドマーク／マーカ、視覚記述子、ＩＲ記述子、及び／又はＲＦ記述子、並びにロケーション情報及び／又は向き情報を使用して、車両内ランドマーク及び車両の座標系に対してそれ自体を位置特定することができる。例えば、ＸＲデバイスの１つ又は複数のカメラを使用して、ＸＲデバイスは、位置特定プロセスを実施して、車両テンプレート内で指定された車両内ランドマークを（連続的に）検索し、車両内ランドマーク及び（ひいては）車両に対してそれ自体を位置特定することができる。場合によっては、ＸＲデバイスは、例えば、ＷｉＦｉデバイス、Ｂｌｕｅｔｏｏｔｈデバイス、超音波デバイス、ＩＭＵなどの他のセンサ／デバイスを使用して、位置特定を支援することもできる。

【0051】

[0065] 車両監視プロセスは、ＸＲデバイス（例えば、ＡＲデバイス）、車両、及び／又は１つ又は複数の周囲などの状況を監視することができる。車両監視プロセスは、車両及びその周囲、運転条件、道路条件、車両条件などに関連するイベントを認識することができる。車両監視プロセスは、これらのイベントに関するデータをＸＲデバイスに送信することができ、ＸＲデバイスは、このデータを、乗員監視プロセス、仮想コンテンツフィルタリングプロセス、車両ユーザインターフェースプロセスなどのために使用することができる。車両監視プロセスによってＸＲデバイスに提供されるデータの非限定的な例は、計装読み取り値、センサデータ（例えば、カメラデータ、ＲＡＤＡＲデータ、ＳＯＮＡＲデータ、ＳＯＤＡＲデータ、ＥｍＤＡＲデータ、ＧＮＳＳデータ、ＬＩＤＡＲデータ、ＩＭＵデータ、ＧＰＳデータ等）、車両の経路内の条件（例えば、気象条件、交通条件、道路条件等）を示すインターネットデータ、ナビゲーション情報等、を含むことができる。いくつかの例では、センサデータは、ＸＲデバイスに提供される前に、例えば、画像処理、センサ融合、オブジェクト／対象検出等を適用することによって、車両によって前処理されてもよい。いくつかの例では、少なくともいくつかのセンサデータは、ＸＲデバイスに未処理で提供され得る。

【0052】

[0066] いくつかの例では、センサデータは、車両の動作状況、車両の運動状態、自律運転ポリシー、車両関連のイベント、例えば、車両部品の誤動作又はセンサトリガ警報、及びそれらの組み合わせ、車両の経路内又は車両の経路に近づいてくるオブジェクト又は障害物の存在（例えば、場合によっては、肯定的及び否定的な例で訓練された機械学習分類器を介して判定される）、車両の経路内又は車両の経路に近づいてくる歩行者の存在（例えば、場合によっては、肯定的及び否定的な例で訓練された機械学習分類器を介して判定される）、車両の経路内の何か（例えば、窪み、事故、動物、道路のでこぼこの部分、車線区分線など）の存在（例えば、場合によっては、肯定的及び否定的な例で訓練された機械学習分類器を介して判定される）、車両の経路の後ろ又は近くのオブジェクト（例えば、緊急車両など）の存在（例えば、場合によっては、肯定的及び否定的な例で訓練された機械学習分類器を介して判定される）などの車両の状態又は状況を示すことができる。場合によっては、センサデータは、車両が車線区分線に違反していること（例えば、場合によっては、正及び負の例で訓練された機械学習分類器を介して判定される）、車両が制限速度を超えていること（例えば、場合によっては、車両の速度計及び速度制限ゾーンのデータベースに基づいて判定される）などの、車両の経路（例えば、場合によっては、正及び負の例で訓練された機械学習分類器を介して判定される）に沿った交通規制（例えば、停止標識、停止灯など）を示すことができる。

【0053】

[0067] 場合によっては、車両監視プロセスは、ＸＲデバイス（例えば、ＡＲデバイス）ビークルトゥエブリシング（Ｖ２Ｘ）（例えば、ビークルトゥビークル（Ｖ２Ｖ）、ビークルトゥインフラストラクチャ（Ｖ２Ｉ）など）データ及び／又はイベントを提供することができる。車両監視プロセスがＸＲデバイスに提供することができるＶ２Ｘデータの非限定的な例は、車両の経路内の障害物の存在を示すＶ２Ｘデータ、車両の経路内又は車両に近づいてくる歩行者の存在を示すＶ２Ｘデータ、車両の経路内の何か（例えば、窪み、動物、オブジェクトなど）の存在を示すＶ２Ｘデータ、車両の経路の後ろ又は近くの緊急車両の存在を示すＶ２Ｘデータ、車両の経路に沿った交通規制（例えば、停止標識、停止灯など）の存在を示すＶ２Ｘデータ、車両が車線区分線に違反していることを示すＶ２Ｘデータ、車両が速度制限を超えていることを示すＶ２Ｘデータ、車両の経路内の特定の条件（例えば、気象条件、道路条件、交通条件、事故など）の存在を示すＶ２Ｘデータなどを含む。

【0054】

[0068] いくつかの例では、乗員監視プロセスは、車両からのイベントデータ及び／又は状況情報、ＸＲデバイス（例えば、ＡＲデバイス）によってレンダリングされる仮想コンテンツ、乗員の位置／向き、ユーザ活動（例えば、ジェスチャ、動きなど）、目追跡、慣性センサデータ、オーディオデータ（例えば、発話データ、音響データ、音波など）、ユーザ頭部姿勢などに基づいて、障害についてユーザ／乗員を監視することができる。場合によっては、乗員（例えば、運転者、乗客など）の障害は、ＸＲデバイスによってレンダリングされた仮想コンテンツ及び／又は車両状況とは無関係に検出され得る。例えば、場合によっては、乗員障害は、例えば、目追跡、慣性感知、心拍数情報、温度データ等のセンサデータ及び／又はセンサデータ処理を使用して検出されることができる。場合によっては、目追跡、慣性感知、心拍数情報、温度データなどは、眠気、中毒、健康緊急事態（例えば、発作、心臓発作、意識喪失など）、ストレス又は高まった感情状態、一般的な不注意／注意散漫などを示すことができる（例えば、場合によっては、正例及び負例で訓練された機械学習分類器を介して判定される）。場合によっては、障害は、仮想コンテンツ、車両状況情報、及び／又はセンサデータの組み合わせを使用して検出することができる。例えば、場合によっては、乗員障害は、乗員の視線が特定の（設定可能な）期間にわたって仮想コンテンツに集中していることを示す目追跡データ、車両イベントモニタが切迫したイベント又はオブジェクト（例えば、障害物、歩行者、窪み、動物など）を検出したときに乗員の視線が他の場所に集中していることを示す目追跡データ、乗員の視線の光線追跡、車両テンプレート、報告された車両イベントにおけるロケーション情報、乗員の位置及び／又は動きを示すセンサデータなどに基づいて検出することができる。

【0055】

[0069] 場合によっては、ＸＲデバイスは、ＸＲデバイスによって乗員に提示される仮想コンテンツを（例えば、仮想コンテンツフィルタリングプロセス及び／又はユーザインターフェースプロセスを介して）調整／修正することができる。例えば、ＸＲデバイスは、乗員監視プロセスによる乗員が損なわれているという判定、車両監視プロセスからの車両イベントが差し迫っている又は発生しているという報告、乗員によって要求された仮想コンテンツが、乗員を特定の運転及び／又は関連イベントから逸らす可能性があるという判定などに応答して、仮想コンテンツを調整することができる。いくつかの例では、ＸＲデバイスは、必要に応じてマークされた仮想コンテンツ（例えば、ヘッドアップディスプレイ（ＨＵＤ）コンテンツ、車両計装コンテンツなど）のサブセットを除くすべての仮想コンテンツ、乗員が集中している仮想コンテンツの任意の部分（例えば、場合によっては、乗員の視線の光線追跡及び／又は乗員の視線をキャプチャする画像データに基づいて判定される）、車両イベントを不明瞭にしている任意の仮想コンテンツ（例えば、場合によっては、ＸＲデバイスから車両イベントのロケーションまでの光線追跡、車両テンプレート、及び／又は報告された車両イベント内の情報に基づいて判定される）などを無効にし、減光し、又は透明度を上げることによって、仮想コンテンツを調整することができる。

【0056】

[0070] 場合によっては、気を逸らす仮想コンテンツを無効にすることに加えて、ＡＲデバイスは、他の仮想コンテンツをレンダリングして、障害のある乗員を目覚めさせ、かつ／又は切迫した若しくは発生している車両イベントを強調することができる。いくつかの例では、ＸＲデバイスは、乗員の視野（ＦＯＶ）のエッジをパルス化し、表示された画像／ビデオ内の車両イベントのロケーションを丸で囲む又は強調表示し、ヘッドロックされた矢印をレンダリングし、乗員の視界の周囲をパルス化し、他の方向インジケータを使用して乗員の頭部及び／又は視線を車両イベントの方向に向け、車両カメラフィード（例えば、バックアップカメラ、サイドビューカメラなど）を車両イベントのロケーションの近くにストリーミングし、車両状況（例えば、計装など）をヘッドロックされたＨＵＤ又はワールドロックされたユーザインターフェース（ＵＩ）要素としてストリーミングし、車両が透明又は半透明に見え、車両イベントが見えるように、車両のエリア（例えば、車両壁など）にロックされた歪みを受けた及び／又はパースペクティブ補正された外部ビューをレンダリングし、気を逸らす実世界コンテンツ（例えば、広告板、事故など）に取って代わる仮想コンテンツをレンダリングすることができる。場合によっては、そのような仮想コンテンツは、画像のデータベースから合成又は「ディープフェイクされた」仮想コンテンツを生成するように訓練されたディープニューラルネットワークを使用してレンダリングされ、拡張現実デバイス及び／又は車両によって観察されるスタイルでレンダリングされ得る。

【0057】

[0071] 車両監視プロセスは、先に説明したように、車両イベントをＸＲデバイス（例えば、ＡＲデバイス）に送信することができる。同様に、ＸＲデバイスの乗員監視プロセスは、乗員監視イベント（例えば、障害など）を車両に送信することができる。いくつかの例では、車両は、ＸＲデバイスによって生成された乗員監視イベントの知識から利益を得ることができる何らかの自律又は半自律運転機能を有することができる。車両は、自律運転ポリシー又は能力の一部としてそのようなイベントを使用することができる。例えば、乗員（例えば、運転者）の障害を示す乗員監視イベントを受信すると、車両は、自律機能を作動させて、乗員に警告し、及び／又は障害のある運転に関連する特定のイベント又はリスクを防止し、既に作動している自律機能のレベル又は信頼度を高めることができる。いくつかの例では、健康緊急事態を示す乗員監視イベントを受信すると、車両は、車両を安全に停止させるか、又は支援のために特定のロケーション（例えば、病院、診療所など）に進むための自律機能に関与することができる。場合によっては、車両は、オンライン又は強化学習アルゴリズムを使用して、どの車両及び／又は世界イベントが特定の運転者状態（例えば、特定の障害など）とより高い相関を有するかを経時的に学習し、その情報を使用してそのような状況を処理及び／又は回避することができる。例えば、乗員がしばしば広告板によって注意を逸らされる場合、車両は、速度を低下させるか、又は広告板を有する環境においてより積極的に緊急制動を可能にし得る。

【0058】

[0072] 場合によっては、ＸＲデバイスは、乗員監視プロセスを支援するために、乗員の１つ又は複数のウェアラブルデバイスからのデータを使用することができる。ウェアラブルデバイスは、乗員監視を支援することができる追加の及び／又は冗長なセンサモダリティを有することができる。ウェアラブルデバイスは、そのようなデータ（又は関連イベントのダイジェスト）をＸＲデバイスに送信して、その乗員監視プロセスを支援することができる。いくつかの例では、ウェアラブルデバイスは、例えば、慣性センサデータ、心拍数測定値、血圧測定値、ガルバニック皮膚反応測定値、ＥＣＧ／ＥＫＧ／ＥＥＧデータ、温度データ、酸素レベル、運動情報、睡眠追跡情報などのセンサデータをＸＲデバイスに送信することができる。場合によっては、ウェアラブルデバイスからのデータは、眠気、中毒、健康緊急事態、ストレス、高まった感情状態、意識喪失などの障害を示すことができ、かつ／又は（例えば、正例及び負例で訓練された機械学習分類器を介して）障害を判定するために使用することができる。

【0059】

[0073] 場合によっては、ＸＲデバイスは、車両から乗員監視情報を取得することができる。例えば、場合によっては、車両は、それ自体の乗員監視能力／機能を組み込むことができる。場合によっては、ＸＲデバイスは、（例えば、車両で処理された乗員監視イベントを送信することに加えて、又はその代わりに）車両の乗員監視システムとの融合処理のために、ＸＲデバイスの乗員監視プロセスからの生の乗員監視データを車両に送信することができる。

【0060】

[0074] 場合によっては、車両は、運転者イベントの緩和を可能にするために、乗員監視イベントをインフラストラクチャ及び／又は他の車両に送信することができる。例えば、車両は、他の車両にその運転者が障害を有していることを報告することができるので、他の車両が予防措置を取る、自律運転ポリシーを変更する（例えば、減速する、障害のある運転者に十分な距離を与えるなど）、運転者のＸＲデバイス（例えば、場合によっては、近くの車両が障害のある運転者を有することを仮想コンテンツで強調表示する又は示すことができる）に通知するなどできる。場合によっては、運転者が障害を有していることを、インフラストラクチャを横断している歩行者（例えば、それにより、横断信号は、障害のある運転者を有する車両の前を歩行者が横断することを防止できるなど）、法執行機関（例えば、支援及び／又は保護のため）、歩行者のＸＲデバイスに報告することができる（例えば、それにより、歩行者のＸＲデバイスは、障害のある運転者を信号伝達する仮想コンテンツをレンダリングできるなど）。場合によっては、車両は、ＸＲデバイスに関して本明細書で説明される仮想コンテンツのいずれかをレンダリングすることができる。例えば、車両は、ＸＲ及び／又はモバイルデバイスに関して本明細書で説明したのと同じコンテンツ及び／又はコンテンツのタイプをレンダリングすることができる。車両は、ＸＲデバイスによる任意のコンテンツレンダリングに加えて、又はその代わりに、そのようなコンテンツをレンダリングすることができる。

【0061】

[0075] 適用例の様々な態様が、図に関して説明される。

【0062】

[0076] 図１は、モバイルデバイス１５０のコンピューティングシステム１００の一例を示す図である。モバイルデバイス１５０は、エンドユーザが使用できるコンピューティングデバイスの一例である。例えば、モバイルデバイス１５０は、ポータブルデバイス、携帯電話、ＸＲデバイス（例えば、ＨＭＤ、スマートグラスなど）、タブレットコンピュータ、ラップトップコンピュータ、ウェアラブルデバイス（例えば、スマートウォッチなど）、コネクテッドデバイス若しくはモノのインターネット（ＩｏＴ）デバイス、及び／又はワイヤレス通信ネットワークを介して通信するためにユーザによって使用される任意の他のデバイスを含むことができる。コンピューティングシステム１００は、バスなどの通信システム１３４を介して電気的に又は通信可能に結合されてもよい（又は適宜別様に通信していてもよい）ソフトウェア構成要素及びハードウェア構成要素を含む。

【0063】

[0077] コンピューティングシステム１００は、１つ又は複数のセンサシステム１０２、計算構成要素１１０、１つ又は複数の入力デバイス１２０（例えば、マウス、キーボード、タッチスクリーン、タッチパッド、キーパッド、マイクロフォン、コントローラなど）、１つ又は複数の出力デバイス１２２（例えば、１つ又は複数のディスプレイ、スピーカ、発光デバイス、プリンタ、プロジェクタなど）、１つ又は複数のモデム１２６、１つ又は複数のワイヤレストランシーバ１２８、１つ又は複数のアンテナ１３０、及び／又は１つ又は複数のメモリデバイス１３２を含むことができる。場合によっては、コンピューティングシステム１００は、任意選択的に、１つ又は複数のＳＩＭ１２４を含むことができる。コンピューティングシステム１００は、コンピューティングシステム１００の構成要素間でデータを転送することができる通信システム１３４（例えば、バス）を含むことができる。いくつかの例では、１つ又は複数の出力デバイス１２２は、ＨＭＤ、スマートグラスなど、モバイルデバイス１５０の左ディスプレイ及び右ディスプレイを含むことができる。いくつかの例では、１つ又は複数の出力デバイス１２２は、スマートフォン、スマートウォッチなど、モバイルデバイス１５０の背面ディスプレイ及び／又は前面ディスプレイを含むことができる。場合によっては、１つ又は複数の出力デバイス１２２は、１つ又は複数のプロジェクタなどの１つ又は複数の光学デバイスを含むことができる。

【0064】

[0078] いくつかの例では、通信システム１３４は、１つ又は複数のセンサシステム１０２、計算構成要素１１０、１つ又は複数の入力デバイス１２０、１つ又は複数の出力デバイス１２２、１つ又は複数のモデム１２６、１つ又は複数のワイヤレストランシーバ１２８、１つ又は複数のアンテナ１３０、及び／又は１つ又は複数のメモリデバイス１３２を相互接続することができる。例えば、場合によっては、計算構成要素１１０は、通信システム１３４を使用して、処理プロセッサ／コア間で、及び／又は、例えば、１つ又は複数のセンサシステム１０２、１つ又は複数の入力デバイス１２０、１つ又は複数の出力デバイス１２２、１つ又は複数のＳＩＭ１２４、１つ又は複数のモデム１２６、１つ又は複数のワイヤレストランシーバ１２８、１つ又は複数のアンテナ１３０、及び／又は１つ又は複数のメモリデバイス１３２などのコンピューティングシステム１００の任意のデバイス／構成要素と通信することができる。

【0065】

[0079] 計算構成要素１１０は、例えば、１つ又は複数の中央処理ユニット（ＣＰＵ）１１２、グラフィックス処理ユニット（ＧＰＵ）１１４、デジタル信号プロセッサ（ＤＳＰ）１１６、及び／又は画像信号プロセッサ（ＩＳＰ）１１８を含むことができる。場合によっては、計算構成要素１１０は、追加又は代替として、例えば、限定はしないが、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、アプリケーションプロセッサ（ＡＰ）、ビジョン処理ユニット（ＶＰＵ）、ニューラルネットワーク信号プロセッサ（ＮＳＰ）、マイクロコントローラ、コンピュータビジョン（ＣＶ）プロセッサ、専用ハードウェア、それらの任意の組み合わせ、及び／又は他の処理デバイス若しくはシステムなどの、図１に示されていない１つ又は複数の他の処理構成要素を含むことができる。場合によっては、１つ又は複数の計算構成要素１１０は、本明細書で説明する様々な動作のいずれかを実行するための、他の電子回路若しくはハードウェア、コンピュータソフトウェア、ファームウェア、又はそれらの任意の組み合わせを含むことができる。いくつかの例では、１つ又は複数の計算構成要素１１０は、図１に示す計算構成要素よりも多い又は少ない計算構成要素を含むことができる。更に、ＣＰＵ１１２、ＧＰＵ１１４、ＤＳＰ１１６、及びＩＳＰ１１８は、説明目的のために提供された計算構成要素の単なる例示的な例である。

【0066】

[0080] コンピューティングシステム１００は、１つ又は複数の計算構成要素１１０を使用して、例えば、エクステンデッドリアリティ動作（例えば、追跡、位置特定、オブジェクト検出、分類、姿勢推定、マッピング、コンテンツアンカリング、コンテンツレンダリングなど）、デバイス制御動作、画像／ビデオ処理、グラフィックスレンダリング、イベントマッピング、機械学習、データ処理、モデリング、計算、コンピュータビジョン、イベント監視、本明細書に記載の任意の動作、及び／又は任意の他の動作などの様々なコンピューティング動作を実行することができる。例えば、場合によっては、１つ又は複数の計算構成要素１１０は、センサシステム１０２、１つ又は複数の入力デバイス１２０、１つ又は複数のＳＩＭ１２４、１つ又は複数のモデム１２６、１つ又は複数のワイヤレストランシーバ１２８、１つ又は複数のアンテナ１３０、１つ又は複数のメモリデバイス１３２、図２に示す車両コンピューティングシステム２１０、及び／又は任意の他のデバイスからのデータを使用して、画像／ビデオ処理、イベントマッピング、ＸＲ処理、デバイス管理／制御、及び／又は本明細書に記載の他の動作を実行することができる。

【0067】

[0081] 例示すると、いくつかの例では、１つ又は複数の計算構成要素１１０は、ユーザコンピューティングシステム１００、車両コンピューティングシステム２１０、及び／又は任意の他のシステム若しくは構成要素の構成要素のうちの１つ又は複数からのデータに基づいて、監視（例えば、デバイス監視、ユーザ監視、車両監視、イベント監視、活動監視、オブジェクト監視など）、デバイス制御／管理、追跡（例えば、デバイス追跡、オブジェクト追跡、手追跡、視線追跡など）、位置特定、オブジェクト検出及び／又は認識、オブジェクト分類、姿勢推定、形状推定、シーンマッピング、シーン検出及び／又はシーン認識、顔検出及び／又は認識、感情検出及び／又は認識、コンテンツアンカリング、コンテンツレンダリング、コンテンツフィルタリング、画像処理、モデリング、コンテンツ生成、ジェスチャ検出及び／又は認識、ユーザインターフェース生成、電力管理、イベント検出及び／又は認識、及び／又は他の動作を実行することができる。

【0068】

[0082] いくつかの例では、１つ又は複数の計算構成要素１１０は、例えば、特徴抽出器（例えば、スケール不変特徴変換（ＳＩＦＴ）、高速化ロバスト特徴（ＳＵＲＦ）、指向ＦＡＳＴ及び回転ＢＲＩＥＦ（ＯＲＢ）など）、機械学習モデル、コンピュータビジョンアルゴリズム、ニューラルネットワーク、追跡アルゴリズム、位置特定アルゴリズム、オブジェクト検出アルゴリズム、認識アルゴリズム、マッピングアルゴリズム、アプリケーション（例えば、ＸＲアプリケーション、メッセージングアプリケーション、ソーシャルメディアネットワークアプリケーション、ウェブブラウザアプリケーション、生産性アプリケーション、ゲームアプリケーション、エンターテインメントアプリケーション、マルチメディアアプリケーション、認証アプリケーション、写真アプリケーション、スキャンアプリケーション、メディア再生アプリケーション、セキュリティアプリケーション、電子商取引アプリケーション、コンテンツ管理アプリケーション、インターフェース及び／又はウィンドウアプリケーション、アシスタントアプリケーション、オートメーションアプリケーション、電子メールアプリケーション、音声アプリケーション、カメラアプリケーション、ナビゲーションアプリケーション、車両アプリケーションなど）、コンピュータビジョンアルゴリズム、画像処理アルゴリズム、コンテンツフィルタリングアルゴリズム、並びに／あるいは任意の他のアルゴリズム及び／又は構成要素などの１つ又は複数のソフトウェアエンジン及び／又はアルゴリズムを実装することができる。

【0069】

[0083] 画像センサ１０４Ａ及び画像センサ１０４Ｎは、デジタルカメラセンサ、ビデオカメラセンサ、スマートフォンカメラセンサ、テレビ又はコンピュータなどの電子装置上の画像／ビデオキャプチャデバイス、カメラなどの任意の画像及び／若しくはビデオセンサ又はキャプチャデバイスを含むことができる。場合によっては、画像センサ１０４Ａ及び画像センサ１０４Ｎは、デジタルカメラ、ビデオカメラ、ＩＰカメラ、スマートフォン、スマートテレビ、ゲームシステムなどのカメラ又はコンピューティングデバイスの一部であってもよい。更に、場合によっては、画像センサ１０４Ａ及び画像センサ１０４Ｎは、後方及び前方センサデバイスなどのデュアル（又は複数の）画像センサシステム又はセットアップを含む及び／又は実装することができる。いくつかの例では、画像センサ１０４Ａ及び画像センサ１０４Ｎは、デュアルカメラ又は他のマルチカメラアセンブリ（例えば、２つのカメラ、３つのカメラ、４つのカメラ、若しくは他の数のカメラを含む）の一部であってもよい。場合によっては、画像センサ１０４Ａ及び／又は画像センサ１０４Ｎは、環境のＲＦ及び／又はＩＲ撮像を実行するように構成されたレーダセンサ、ＬＩＤＡＲセンサ及び／又はＩＲセンサなどのＲＦセンサを含むことができる。

【0070】

[0084] いくつかの例では、画像センサ１０４Ａ及び１０４Ｎの各々は、画像データをキャプチャし、画像データに基づいてフレームを生成し、並びに／又は画像データ若しくはフレームを、処理するために１つ又は複数の計算構成要素１１０に提供することができる。フレームは、ビデオシーケンスのビデオフレーム又は静止画像を含むことができる。フレームは、シーンを表すピクセルアレイを含むことができる。例えば、フレームは、ピクセルごとに赤、緑、及び青の色成分を有する赤－緑－青（ＲＧＢ）フレーム、ピクセルごとに１つの輝度成分及び２つの色差（色）成分（赤の色差及び青の色差）を有する、輝度、赤の色差、青の色差（ＹＣｂＣｒ）フレーム、又は任意の他の適切なタイプのカラー又はモノクロ画像、であり得る。

【0071】

[0085] １つ又は複数のワイヤレストランシーバ１２８は、他のユーザデバイス、車両（例えば、図２に示す車両２０２）、ネットワークデバイス（例えば、ｅＮＢ及び／又はｇＮＢなどの基地局、ＷｉＦｉデバイス（例えば、ルータ、アクセスポイントなど）、サーバ、スイッチ、ルータ、ゲートウェイ、ファイアウォールなど）、クラウドネットワーク、プライベートネットワーク、パブリックネットワーク、データセンタ、インターネット、衛星、コネクテッドデバイス若しくはＩｏＴデバイス、インフラストラクチャデバイス／構成要素など、１つ又は複数の他のデバイス及び／又はネットワークから、１つ又は複数のアンテナ１３０を介して、ワイヤレス信号（例えば、信号１４０）を受信することができる。いくつかの例では、コンピューティングシステム１００は、複数のアンテナを含むことができる。ワイヤレス信号１４０は、ワイヤレスネットワークを介して送信されてもよい。ワイヤレスネットワークは、セルラー若しくは電気通信ネットワーク（例えば、３Ｇ、４Ｇ、５Ｇなど）、ワイヤレスローカルエリアネットワーク（例えば、ＷｉＦｉネットワーク）、Ｂｌｕｅｔｏｏｔｈ（商標）ネットワーク、及び／又は任意の他のワイヤレスネットワークなどの、任意のワイヤレスネットワークであってもよい。いくつかの例では、１つ又は複数のワイヤレストランシーバ１２８は、無線周波数（ＲＦ）フロントエンドを含み得る。ＲＦフロントエンドは、構成要素の中でもとりわけ、１つ又は複数の増幅器、信号ダウンコンバージョンのためのミキサ（信号乗算器とも呼ばれる）、信号を１つ又は複数のミキサに提供する周波数シンセサイザ（発振器とも呼ばれる）、ベースバンドフィルタ、アナログデジタル変換器（ＡＤＣ）、電力増幅器、ＲＦポート（例えば、送信（Ｔｘ）及び／又は受信（Ｒｘ）ポート）、移相器、ＩＱ利得及び位相補償器、アップサンプラ、利得制御装置、デジタルアナログ変換器（ＤＡＣ）、ビームフォーマ、ローパスフィルタ、時間遅延フィルタ等の１つ又は複数の構成要素を含むことができる。いくつかの例では、ＲＦフロントエンドは一般に、ワイヤレス信号１４０の選択及びベースバンド周波数又は中間周波数への変換を扱うことができ、ＲＦ信号をデジタル領域に変換することができる。

【0072】

[0086] 場合によっては、コンピューティングシステム１００は、１つ又は複数のワイヤレストランシーバ１２８を使用して送信及び／又は受信されるデータを符号化及び／又は復号するように構成されているコード化－復号デバイス（又はコーデック）を含むことができる。場合によっては、コンピューティングシステム１００は、１つ又は複数のワイヤレストランシーバ１２８によって送信及び／又は受信されるデータを（例えば、高度暗号化規格（ＡＥＳ）、データ暗号化規格（ＤＥＳ）及び／又は任意の他の規格に従って）暗号化及び／又は解読するように構成されている暗号化－解読デバイス又は構成要素を含むことができる。

【0073】

[0087] ＳＩＭは、特定の加入者又はユーザの国際移動体加入者識別（ＩＭＳＩ）番号及び関連する鍵（例えば、暗号－復号鍵）をセキュアに記憶することができるデバイス（例えば、集積回路）である。ＩＭＳＩ及び鍵は、特定のＵＥで加入者を識別して認証するために使用され得る。図１において、１つ又は複数のＳＩＭ１２４の各々は、モバイルデバイス１５０のユーザに割り当てられたＩＭＳＩ番号及び関連キーを安全に記憶することができる。ＩＭＳＩ及びキーを使用して、１つ又は複数のＳＩＭ１２４と関連付けられたネットワークサービスプロバイダ又はオペレータによって提供されるネットワークにアクセスするときに、加入者を識別及び認証することができる。

【0074】

[0088] モデムは、１つ又は複数の搬送波信号を変調して送信のためにデジタル情報を符号化し、かつ信号を復調して送信される情報を復号する、デバイスである。１つ又は複数のモデム１２６は、１つ又は複数のワイヤレストランシーバ１２８を使用して情報を送信のために符号化するように１つ又は複数の信号を変調することができる。１つ又は複数のモデム１２６は、送信された情報を復号するために、１つ又は複数のワイヤレストランシーバ１２８によって受信される信号を復調することもできる。いくつかの例において、１つ又は複数のモデム１２６は、４Ｇ（又はＬＴＥ）モデム、５Ｇ（又は新無線（ＮＲ））モデム、ビークルトゥエブリシング（Ｖ２Ｘ）通信のために構成されているモデム、及び／又は他のタイプのモデムを含むことができる。１つ又は複数のモデム１２６及び１つ又は複数のワイヤレストランシーバ１２８は、１つ又は複数のＳＩＭ１２４のためのデータを通信するために使用することができる。

【0075】

[0089] 上述したように、コンピューティングシステム１００は、１つ又は複数のセンサシステム１０２を含むことができる。いくつかの例では、１つ又は複数のセンサシステム１０２は、画像センサ１０４Ａ及び１０４Ｎなどの１つ又は複数の画像センサ（以下、集合的に「画像センサ１０４」）、ロケーションセンサ１０６（例えば、超音波センサ、超低周波センサ、ＳＯＮＡＲセンサ、ＲＦベースのセンサシステム（例えば、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈなど）、マイクロフォンなど）、慣性測定ユニット（ＩＭＵ）１０８、及び／又は１つ又は複数の他のセンサを含むことができる。場合によっては、コンピューティングシステム１００は、任意選択的に、例えば、限定はしないが、ＲＡＤＡＲセンサシステム、ＬＩＤＡＲセンサシステム、電磁検出及び測距（ＥｍＤＡＲ）センサシステム、赤外線センサシステム、レーザ測距システム、音響検出及び測距（ＳＯＤＡＲ）システム、タッチセンサ、圧力センサ（例えば、気圧センサ及び／又は任意の他の圧力センサ）、ジャイロスコープ、加速度計、磁力計、及び／又は任意の他のセンサなどの、１つ又は複数の他の／追加のセンサ又はセンサシステムを含むことができる。いくつかの例では、コンピューティングシステム１００は、例えば発光ダイオード（ＬＥＤ）デバイス、キャッシュ、ワイヤレスネットワークインターフェースなどの追加の構成要素を含むことができる。コンピューティングシステム１００によって実装され得る例示的なアーキテクチャ及び例示的なハードウェア構成要素は、図１５に関して以下で更に説明される。

【0076】

[0090] コンピューティングシステム１００は、１つ又は複数の非一時的機械可読記憶媒体又は記憶デバイス（例えば、１つ又は複数のメモリデバイス１３２）も含むことができ（かつ／又はそれと通信していてもよく）、これは、例えば、限定はされないが、（例えば、プログラム可能、及び／又はフラッシュ更新可能などであり得る）ローカルストレージ及び／又はネットワークアクセス可能ストレージ、ディスクドライブ、ドライブアレイ、光記憶デバイス、ＲＡＭ及び／又はＲＯＭなどのソリッドステート記憶デバイスを含むことができる。そのような記憶デバイスは、限定はしないが、様々なファイルシステム、データベース構造などを含む、任意の適切なデータ記憶装置を実装するように構成されてもよい。

【0077】

[0091] いくつかの例では、機能は、１つ又は複数のコンピュータプログラム製品（例えば、命令又はコード）としてメモリデバイス（単数又は複数）１３２内に記憶され、計算構成要素１１０によって実行され得る。コンピューティングシステム１００はまた、例えば、オペレーティングシステム、デバイスドライバ、実行可能ライブラリ、及び／又は１つ又は複数のアプリケーションプログラムなどの他のコードを含む、ソフトウェア要素（例えば、１つ又は複数のメモリデバイス１３２内に位置する）も含むことができ、１つ又は複数のアプリケーションプログラムは、様々な実施形態によって提供される機能を実施するコンピュータプログラムを備え得、かつ／又は本明細書で説明する方法を実装すること、及び／若しくは本明細書で説明するシステムを構成することを行うように設計されてもよい。

【0078】

[0092] いくつかの実装形態では、ユーザ機器（ＵＥ）はＤｕａｌ ＳＩＭ Ｄｕａｌ Ａｃｔｉｖｅ（ＤＳＤＡ）機能のために構成され得る。例えば、モバイルデバイス１５０、図２に示す車両２０２、及び／又は他のＵＥは、ＤＳＤＡ機能を装備することができる。ＤＳＤＡ機能のあるＵＥは、少なくとも２つのＳＩＭを装備することができる。１つの説明のための例では、ＤＳＤＡ機能のある車両（例えば、図２に示す車両２０２）及びユーザデバイス（例えば、モバイルデバイス１５０）は、車両及び車両の乗員（例えば、運転者、乗客など）及びユーザデバイスが、独立したネットワーク事業者（又は提供者）の契約を選ぶことを可能にでき、各事業者の契約は特定のＳＩＭと関連付けられる。例えば、車両は、ワイヤレス通信アクセスのために第１の事業者を使用することができ、ユーザデバイスは、ワイヤレス通信アクセスのために第２の事業者を使用することができる。

【0079】

[0093] 場合によっては、ＤＳＤＡ機能は、ある車両について、図２の車両コンピューティングシステム２１０に関して以下に説明するものなどの、ＯＥＭ ＳＩＭ及びユーザＳＩＭを含む少なくとも２つの有効なＳＩＭをサポートすることができる。以下に述べるように、ＯＥＭ ＳＩＭ及び／又はユーザＳＩＭは、１つ又は複数のモデム（例えば、図２に示す通信システム２２２の図２に示すモデム２２８及び／又は他のモデム）とともに使用され得る。いくつかの実装形態では、ＯＥＭ ＳＩＭ、ユーザＳＩＭ、及び車両のモデム（単数又は複数）は、車両のテレマティック制御ユニット（ＴＣＵ）の一部とすることができるか、又はＴＣＵ（例えば、図２の通信システム２２２の一部として）のネットワークアクセスデバイス（ＮＡＤ）（場合によっては、ネットワーク制御ユニット又はＮＣＵとも呼ばれる）の一部とすることができる。以下に説明するように、ＯＥＭ ＳＩＭは、車両ベースの動作のために（例えば、動作の中でもとりわけ、ｅＣａｌｌ機能のために、ソフトウェア更新などのために車両製造業者と通信するために）ワイヤレス通信を実行するためのアクセスを提供する情報を記憶することができる。ＯＥＭ ＳＩＭは、緊急通報を行うためのｅＣａｌｌを含む、車両のための様々なサービスをサポートする。ユーザＳＩＭは、とりわけ、通話、メッセージング、インフォテインメント関連サービスを支援することなどの、ユーザデータ接続をサポートするために、ユーザのＵＥのためのワイヤレスネットワークアクセスを実行するために使用され得る。

【0080】

[0094] ＤＳＤＡは、ＳＩＭ及び／又はＵＥのモデムの代わりに、ユーザＳＩＭ及び車両のモデムがワイヤレスネットワークアクセスのために（例えば、セルラー接続のために）使用されることを可能にできる。例えば、車両の通信範囲内に来ると、ユーザデバイス（例えば、モバイルデバイス）は、インターフェースを介して（例えば、Ｂｌｕｅｔｏｏｔｈ（商標）、ＷｉＦｉ（商標）、ＵＳＢポート、ｌｉｇｈｔｎｉｎｇポート、及び／又は他のワイヤレス若しくは有線インターフェースを介して）車両と接続することができる。接続されると、ユーザデバイスの通信ユニットは、ユーザデバイスから車両の通信ユニットにワイヤレスネットワークアクセス機能を移行することができる。車両の通信ユニットは、動作の中でもとりわけ、通話を支援すること、データ（例えば、メッセージング、ビデオ、オーディオなど）を送信及び／又は受信することなどの、１つ又は複数のワイヤレス通信動作を実行するために、基地局との対話を開始することができる。上で述べられたように、デバイス（例えば、車両、ユーザデバイス、他のＵＥ、路側ユニット（ＲＳＵ）など）の「通信ユニット」は、ＴＣＵ、ＮＡＤ、モデム、ＳＩＭ、トランシーバ（又は個々のレシーバ及び／又はトランスミッタ）、これらの任意の組み合わせ、及び／又は、ワイヤレス通信動作を実行するように構成される他のシステム、デバイス、若しくは構成要素であり得る。１つの説明のための例では、ユーザデバイス（例えば、モバイルデバイス）のユーザＳＩＭ（例えば、ＳＩＭに記憶されている情報及び／又は実際のＳＩＭカード）を車両のＴＣＵ ＮＡＤに移行することができ、その後、車両のモデムは、ユーザＳＩＭ情報を使用してユーザのためにワイヤレスネットワーク事業者と通信することができる。

【0081】

[0095] 図２は、車両２０２の車両コンピューティングシステム２１０の例を示すブロック図である。車両２０２は、ネットワーク（例えば、ｅＮＢ、ｇＮＢ、測位ビーコン、ロケーション測定ユニット、及び／又は他のネットワークエンティティ）と及び／又は他のＵＥ（例えば、モバイルデバイス１５０）と通信することができ、（例えば、ＰＣ５インターフェース又は他のデバイス間直接インターフェース）を介したＶ２Ｘ通信を使用して通信することができる、ＵＥの例である。示されるように、車両コンピューティングシステム２１０は、少なくとも、電力管理システム２１２、制御システム２１４、インフォテインメントシステム２１６、高度道路交通システム（ＩＴＳ）２１８、１つ又は複数のセンサシステム２２０、及び通信システム２２２を含むことができる。場合によっては、車両コンピューティングシステム２１０は、１つ又は複数のＣＰＵ、ＤＳＰ、ＧＰＵ、ＩＳＰ、ＡＳＩＣ、ＦＰＧＡ、アプリケーションプロセッサ（ＡＰ）、ビジョン処理ユニット（ＶＰＵ）、ニューラル処理ユニット（ＮＰＵ）、制御電圧プロセッサ（ＣＶＰ）、マイクロコントローラ、専用ハードウェア、これらの任意の組み合わせ、及び／又は他の処理デバイス若しくはシステムなどの、任意のタイプの処理デバイス若しくはシステムを含むことができ、あるいはそれを使用して実装され得る。

【0082】

[0096] 制御システム２１４は、車両２０２、電力管理システム２１２、コンピューティングシステム２１０、インフォテインメントシステム２１６、ＩＴＳ２１８、及び／又は車両２０２の１つ又は複数の他のシステム（例えば、制動システム、操舵システム、ＩＴＳ２１８以外の安全システム、キャビンシステム、及び／又は他のシステム）の１つ又は複数の動作を制御するように構成され得る。いくつかの例では、制御システム２１４は１つ又は複数の電子制御ユニット（ＥＣＵ）を含むことができる。ＥＣＵは、車両の中の電子システム又はサブシステムの１つ又は複数を制御することができる。制御システム２１４の一部として含まれ得る具体的なＥＣＵの例は、とりわけ、エンジン制御モジュール（ＥＣＭ）、パワートレイン制御モジュール（ＰＣＭ）、送信制御モジュール（ＴＣＭ）、ブレーキ制御モジュール（ＢＣＭ）、中央制御モジュール（ＣＣＭ）、中央タイミングモジュール（ＣＴＭ）を含む。場合によっては、制御システム２１４は、１つ又は複数のセンサシステム２２０からセンサ信号を受信することができ、車両２０２を動作させるために車両コンピューティングシステム２１０の他のシステムと通信することができる。

【0083】

[0097] 車両コンピューティングシステム２１０は、電力管理システム２１２も含む。いくつかの実装形態では、電力管理システム２１２は、電力管理集積回路（ＰＭＩＣ）、スタンバイバッテリー、及び／又は他の構成要素を含むことができる。場合によっては、車両コンピューティングシステム２１０の他のシステムは、１つ又は複数のＰＭＩＣ、バッテリー、及び／又は他の構成要素を含むことができる。電力管理システム２１２は、コンピューティングシステム２１０及び／又は車両の他の部分のための電源を管理することなどの、車両２０２のための電力管理機能を実行することができる。例えば、電力管理システム２１２は、車両のエンジンの始動などに基づいて、電力変動を考慮して安定した電源を提供することができる。別の例では、電力管理システム２１２は、周辺温度及び／又はトランジスタ接合温度を確認することなどによって、熱監視動作を実行することができる。別の例では、電力管理システム２１２は、機能の中でもとりわけ、冷却システム（例えば、１つ又は複数のファン、空調システムなど）に車両コンピューティングシステム２１０のいくつかの構成要素（例えば、１つ又は複数のＥＣＵなどの制御システム２１４）を冷却させること、車両コンピューティングシステム２１０のいくつかの機能を停止すること（例えば、１つ又は複数のディスプレイを消すこと、ワイヤレスネットワークから切断することなどによって、インフォテインメントシステム２１６を制限すること）などの、何らかの機能をある温度レベルを検出したことに基づいて実行することができる。

【0084】

[0098] 車両コンピューティングシステム２１０は、通信システム２２２を含むことができる。通信システム２２２は、ネットワーク（例えば、ｇＮＢ又は他のネットワークエンティティ）に信号を送信し、かつそれから信号を受信するための、及び／又は、他のＵＥから（例えば、ＰＣ５インターフェース、ＷｉＦｉインターフェース、Ｂｌｕｅｔｏｏｔｈ（商標）インターフェース、並びに／又は他のワイヤレスインターフェース及び／若しくは有線インターフェースを介して別の車両又はＵＥに）信号を送信するための、ソフトウェア構成要素及びハードウェア構成要素を含むことができる。例えば、通信システム２２２は、任意の適切なワイヤレスネットワーク（例えば、３Ｇネットワーク、４Ｇネットワーク、５Ｇネットワーク、ＷｉＦｉネットワーク、Ｂｌｕｅｔｏｏｔｈ（商標）ネットワーク、及び／又は他のネットワーク）を介して、情報をワイヤレスに送信及び受信するように構成され得る。通信システム２２２は、相手先商標製造業者（ＯＥＭ）加入者識別モジュール（ＳＩＭ又はＳＩＭカードと呼ばれる）２２４、ユーザＳＩＭ２２６、及びモデム２２８を含む、ワイヤレス通信機能を実行するために使用される、様々な構成要素又はデバイスを含む。車両コンピューティングシステム２１０が２つのＳＩＭ及び１つのモデムを有するものとして示されるが、いくつかの実装形態では、コンピューティングシステム２１０は、任意の数のＳＩＭ（例えば、１つのＳＩＭ又は２つ以上のＳＩＭ）及び任意の数のモデム（例えば、１つのモデム、２つのモデム、又は２つより多くのモデム）を有することができる。

【0085】

[0099] 前述したように、ＳＩＭは、特定の加入者又はユーザの国際移動体加入者識別（ＩＭＳＩ）番号及び関連する鍵（例えば、暗号－復号鍵）をセキュアに記憶することができるデバイス（例えば、集積回路）である。ＩＭＳＩ及び鍵は、特定のＵＥで加入者を識別して認証するために使用され得る。ＯＥＭ ＳＩＭ２２４は、動作の中でもとりわけ、緊急通報（ｅＣａｌｌ）機能を行うこと、（例えば、ソフトウェア更新などのために）車両製造業者の通信システムと通信することなどのために、車両ベースの動作のためのワイヤレス接続を確立するために、通信システム２２２によって使用され得る。ＯＥＭ ＳＩＭ２２４は、自動車事故又は他の緊急事態のイベントの際に緊急通報を行うためのｅＣａｌｌなどの緊急サービスをＯＥＭ ＳＩＭがサポートする通信システムのために重要であり得る。例えば、ｅＣａｌｌは、車両事故のイベントの際に緊急通報番号（例えば、米国では「９－１－１」、欧州では「１－１－２」など）に自動的に電話をかけて、警察署、消防署などの緊急サービスに車両のロケーションを伝えるサービスを含むことができる。

【0086】

[0100] ユーザＳＩＭ２２６は、（例えば、とりわけ、通話、メッセージング、インフォテインメント関連のサービスを行うための）ユーザデータ接続をサポートするために、ワイヤレスネットワークアクセス機能を実行するための通信システム２２２によって使用され得る。場合によっては、ユーザのユーザデバイスは、インターフェース（例えば、ＰＣ５、Ｂｌｕｅｔｏｏｔｈ（商標）、ＷｉＦｉ（商標）、ユニバーサルシリアルバス（ＵＳＢ）ポート、及び／又は他のワイヤレスインターフェース若しくは有線インターフェース）を介して、車両コンピューティングシステム２１０と接続することができる。接続されると、ユーザデバイスは、ユーザデバイスから車両の通信システム２２２にワイヤレスネットワークアクセス機能を移行することができ、その場合、ユーザデバイスは、ワイヤレスネットワークアクセス機能の実行を（例えば、通信システム２２２がワイヤレスアクセス機能を実行している間）止めることができる。通信システム２２２は、動作の中でもとりわけ、通話を支援すること、データ（例えば、メッセージング、ビデオ、オーディオなど）を送信及び／又は受信することなどの、１つ又は複数のワイヤレス通信動作を実行するために、基地局との対話を開始することができる。そのような場合、車両コンピューティングシステム２１０の他の構成要素は、通信システム２２２によって受信されるデータを出力するために使用され得る。例えば、インフォテインメントシステム２１６（以下で説明される）は、通信システム２２２によって受信されるビデオを１つ又は複数のディスプレイに表示することができ、かつ／又は、１つ又は複数のスピーカを使用して通信システム２２２によって受信されるオーディオを出力することができる。

【0087】

[0101] モデム２２８（及び／又は通信システム２２２の１つ又は複数の他のモデム）は、ＯＥＭ ＳＩＭ２２４及び／又はユーザＳＩＭ２２６のためのデータの通信のために使用され得る。いくつかの例では、モデム２２８は４Ｇ（又はＬＴＥ）モデムを含むことができ、通信システム２２２の別のモデム（図示せず）は５Ｇ（又はＮＲ）モデムを含むことができる。いくつかの例では、通信システム２２２は、１つ又は複数のＢｌｕｅｔｏｏｔｈ（商標）モデム（例えば、Ｂｌｕｅｔｏｏｔｈ（商標）Ｌｏｗ Ｅｎｅｒｇｙ（ＢＬＥ）又は他のタイプのＢｌｕｅｔｏｏｔｈ通信のための）、１つ又は複数のＷｉＦｉ（商標）モデム（例えば、専用狭域通信（ＤＳＲＣ）及び／又は他のＷｉＦｉ通信のための）、ワイドバンドモデム（例えば、ウルトラワイドバンド（ＵＷＢ）モデム）、これらの任意の組み合わせ、及び／又は他のタイプのモデムを含むことができる。

【0088】

[0102] 場合によっては、モデム２２８（及び／又は通信システム２２２の１つ又は複数の他のモデム）は、Ｖ２Ｘ通信（例えば、ビークルトゥビークル（Ｖ２Ｖ）通信では車両との、デバイストゥデバイス（Ｄ２Ｄ）通信では他のデバイスとの、ビークルトゥインフラストラクチャ（Ｖ２Ｉ）通信ではインフラストラクチャシステムとの、ビークルトゥペデストリアン（Ｖ２Ｐ）通信では歩行者ＵＥとの、など）を実行するために使用され得る。いくつかの例では、通信システム２２２は、Ｖ２Ｘ通信（例えば、ＰＣ５インターフェースを介したサイドリンク通信）を実行するために使用されるＶ２Ｘモデムを含むことができ、その場合、Ｖ２Ｘモデムは、ワイヤレスネットワークアクセス機能のために（例えば、ネットワーク又はエアインターフェース（例えば、ユニバーサル移動体通信システム（ＵＭＴＳ）インターフェース又は「Ｕｕインターフェース」などを介したネットワーク通信）及び／又はＶ２Ｘ通信以外のサイドリンク通信のために）使用される１つ又は複数のモデムとは別であり得る。

【0089】

[0103] いくつかの例では、通信システム２２２は、テレマティクス制御ユニット（ＴＣＵ）であってもよく、又はそれを含んでもよい。いくつかの実装形態では、ＴＣＵは、ネットワークアクセスデバイス（ＮＡＤ）（場合によってはネットワーク制御ユニット又はＮＣＵとも呼ばれる）を含むことができる。場合によっては、ＮＡＤは、モデム２２８、図２に示されない任意の他のモデム、ＯＥＭ ＳＩＭ２２４、ユーザＳＩＭ２２６、及び／又はワイヤレス通信のために使用される他の構成要素を含むことができる。いくつかの例では、通信システム２２２は、全地球航法衛星システム（ＧＮＳＳ）を含むことができる。場合によっては、以下で説明されるように、ＧＮＳＳは１つ又は複数のセンサシステム２２０の一部であり得る。ＧＮＳＳは、１つ又は複数の位置サービス、ナビゲーションサービス、及び／又はＧＮＳＳ機能を利用できる他のサービスを実行するための能力を、車両コンピューティングシステム２１０に提供することができる。

【0090】

[0104] 場合によっては、通信システム２２２は、ワイヤレス通信を送信及び受信するための１つ又は複数のワイヤレスインターフェース（例えば、各ワイヤレスインターフェースのための１つ又は複数のトランシーバ及び１つ又は複数のベースバンドプロセッサを含む）、１つ又は複数の有線接続を介して通信を実行するための１つ又は複数の有線インターフェース（例えば、ユニバーサルシリアルバス（ＵＳＢ）入力、ｌｉｇｈｔｅｎｉｎｇコネクタ、及び／又は他の有線インターフェースなどのシリアルインターフェース）、並びに／又は、車両２０２がネットワーク及び／若しくは他のＵＥと通信することを可能にできる他の構成要素を含むことができる。

【0091】

[0105] 車両コンピューティングシステム２１０はまた、コンテンツを制御できるインフォテインメントシステム２１６、及びコンテンツを出力するために使用され得る車両２０２の１つ又は複数の出力デバイスを含むことができる。インフォテインメントシステム２１６はまた、車両内インフォテインメント（ＩＶＩ）システム又は車内エンターテインメント（ＩＣＥ）システムとも呼ばれ得る。コンテンツは、コンテンツの中でもとりわけ、ナビゲーションコンテンツ、メディアコンテンツ（例えば、ビデオコンテンツ、音楽若しくは他のオーディオコンテンツ、及び／又は他のメディアコンテンツ）を含むことができる。１つ又は複数の出力デバイスは、１つ又は複数のグラフィカルユーザインターフェース、１つ又は複数のディスプレイ、１つ又は複数のスピーカ、１つ又は複数のエクステンデッドリアリティデバイス（例えば、ＶＲ、ＡＲ、及び／又はＭＲヘッドセット）、１つ又は複数のハプティックフィードバックデバイス（例えば、座席、ハンドル、及び／又は車両２０２の他の部分を振動させるように構成される１つ又は複数のデバイス）、及び／又は他の出力デバイスを含むことができる。

【0092】

[0106] いくつかの例では、コンピューティングシステム２１０は、高度道路交通システム（ＩＴＳ）２１８を含むことができる。いくつかの例では、ＩＴＳ２１８はＶ２Ｘ通信を実装するために使用され得る。例えば、ＩＴＳ２１８のＩＴＳスタックは、ＩＴＳのアプリケーション層からの情報に基づいてＶ２Ｘメッセージを生成することができる。場合によっては、アプリケーション層は、ＩＴＳ２１８が使用するためのメッセージを生成するための、並びに／又は、他の車両（例えば、Ｖ２Ｖ通信の場合）、歩行者ＵＥ（例えば、Ｖ２Ｐ通信の場合）、及び／若しくはインフラストラクチャシステム（例えば、Ｖ２Ｉ通信の場合）に送信されることになるメッセージを生成するための、何らかの条件が満たされているかどうかを判定することができる。場合によっては、通信システム２２２及び／又はＩＴＳ２１８は、カーアクセスネットワーク（ＣＡＮ）情報を（例えば、ＣＡＮバスを介して車両の他の構成要素から）取得することができる。いくつかの例では、通信システム２２２（例えば、ＴＣＵ ＮＡＤ）は、ＣＡＮバスを介してＣＡＮ情報を取得することができ、ＣＡＮ情報をＩＴＳスタックに送信することができる。ＣＡＮ情報は、情報の中でもとりわけ、車両の向き、車両の速さ、制動情報などの、車両関連情報を含むことができる。ＣＡＮ情報は、ＩＴＳ２１８に継続的又は定期的に（例えば、１ミリ秒（ｍｓ）ごと、１０ｍｓごとなど）提供され得る。

【0093】

[0107] メッセージを生成するかどうかを決定するために使用される条件は、道路の安全、交通の効率、インフォテインメント、ビジネスに関する用途、及び／又は他の用途を含む、安全関連の用途及び／又は他の用途に基づいて、ＣＡＮ情報を使用して決定され得る。１つの説明のための例では、ＩＴＳ２１８は車線変更の支援又は調整を実行することができる。例えば、ＣＡＮ情報を使用して、ＩＴＳ２１８は、車両２０２又は車両２０２の運転者が現在の車線から隣の車線などの別の車線に車線を変更しようとしていることを、（例えば、方向指示器が作動していること、ユーザが隣の車線へと方向を変える又は操舵することなどに基づいて）判定することができる。車両２０２が車線を変更しようとしているとの判定に基づいて、ＩＴＳ２１８は、その車両の近くにある隣の車線の他の車両に送信されるべきメッセージに関連する車線変更条件が満たされていると判定することができる。ＩＴＳ２１８は、他の車両に送信するための１つ又は複数のメッセージをＩＴＳスタックに生成させることができ、これは、他の車両と車線変更を調整するために使用され得る。応用の他の例には、とりわけ、前方衝突警告、自動緊急ブレーキ、車線逸脱警告、歩行者回避又は保護（例えば、ユーザのＵＥのＶ２Ｐ通信などに基づいて、歩行者が車両２０２の近くで検出されるとき）、交通標識認識がある。

【0094】

[0108] ＩＴＳ２１８は、任意の適切なプロトコルを使用してメッセージ（例えば、Ｖ２Ｘメッセージ）を生成することができる。ＩＴＳ２１８によって使用され得るプロトコルの例は、Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｉｎｇ（ＳＡＥ）Ｊ２７３５、ＳＡＥ Ｊ２９４５、ＳＡＥ Ｊ３１６１などの、１つ又は複数のＳＡＥ規格、及び／又は他の規格を含む。

【0095】

[0109] ＩＴＳ２１８のセキュリティ層は、他の車両、歩行者ＵＥ、及び／又はインフラストラクチャシステムなどの、Ｖ２Ｘ通信のために構成される他のＵＥに送信され、それらによって検証されるＩＴＳスタックからのメッセージに、セキュアに署名するために使用され得る。セキュリティ層は、そのような他のＵＥから受信されたメッセージを検証することもできる。いくつかの実装形態では、署名及び検証プロセスは、車両２０２のセキュリティコンテキストに基づき得る。いくつかの例では、セキュリティコンテキストは、１つ又は複数の暗号化－復号アルゴリズム、暗号化－復号アルゴリズムを使用して署名を生成するために使用される公開鍵及び／若しくは秘密鍵、並びに／又は他の情報を含んでもよい。例えば、ＩＴＳスタックによって生成される各ＩＴＳメッセージは、セキュリティ層によって署名され得る。署名は、公開鍵及び暗号化－復号アルゴリズムを使用して導出され得る。署名されたメッセージを受信する車両、歩行者ＵＥ、及び／又はインフラストラクチャシステムは、メッセージが承認された車両からのものであることを確実にするために、署名を検証することができる。いくつかの例では、１つ又は複数の暗号化－復号アルゴリズムは、１つ又は複数の対称暗号化アルゴリズム（例えば、高度暗号化標準（ＡＥＳ）、データ暗号化標準（ＤＥＳ）、及び／又は他の対称暗号化アルゴリズム）、公開鍵及び秘密鍵を使用する１つ又は複数の非対称暗号化アルゴリズム（例えば、Ｒｉｖｅｓｔ－Ｓｈａｍｉｒ－Ａｄｌｅｍａｎ（ＲＳＡ）及び／又は他の非対称暗号化アルゴリズム）、及び／又は他の暗号化－復号アルゴリズムを含むことができる。

【0096】

[0110] いくつかの例では、ＩＴＳ２１８は、モバイルデバイス１５０などの他のＵＥから受信されたメッセージに基づいて実行すべきいくつかの動作（例えば、Ｖ２Ｘベースの動作）を判定することができる。動作は、例えば、限定はしないが、安全関連動作、ナビゲーション動作、運転動作、並びに／又は道路安全、交通効率、ナビゲーション、インフォテインメント、ビジネス、運転動作、及び／若しくは他の用途のための動作などの他の動作を含むことができる。いくつかの例では、動作は、車両２０２（例えば、制御システム２１４）に、自動機能の中でもとりわけ、自動ブレーキ、自動操舵（例えば、特定の車線において向きを維持するための）、他の車両との自動車線変更調整、自動加速及び／又は減速などの、自動機能を実行させることを含むことができる。例示的な一例では、メッセージは、通信システム２２２によって、別の車両（例えば、ＰＣ５インターフェースを介して）又はモバイルデバイスなどの別のＵＥから受信され得る。メッセージは、他の車両が停止しつつあることを示すことができる。メッセージの受信に応答して、ＩＴＳ ２１８は、メッセージ又は命令を生成し、そのメッセージ又は命令を制御システム２１４に送信することができる。メッセージ又は命令は、制御システム２１４に、他の車両と衝突する前に（例えば、他の車両に衝突する前に）、車両２０２を自動的に制動させて車両２０２を停止させる（又は車両２０２の速度を低下させる）ことができる。

【0097】

[0111] 他の例示的な実施例では、動作は、とりわけ、別の車両が車両２０２の隣の車線にあることなどの車両関連のイベントを車両２０２の乗員（例えば、運転者）に警告するメッセージ、車両２０２を停止するよう乗員（例えば、運転者）に警告するメッセージ、歩行者が近づいてくる横断歩道（例えば、車両２０２の閾値近接度内の横断歩道、及び／又は特定の期間内に車両２０２に近づいていると推定される横断歩道など）にいることを乗員（例えば、運転者）に警告するメッセージ、料金所が車両２０２の特定の距離内（例えば、１マイル又は任意の測定単位による任意の他の距離内）にあることを乗員（例えば、運転者）に警告するメッセージの提示／表示をトリガすることを含むことができる。

【0098】

[0112] コンピューティングシステム２１０は、１つ又は複数のセンサシステム２２０（例えば、第１のセンサシステムから第Ｎのセンサシステム、ここでＮは２以上の値である）を含み得る。いくつかの例では、センサシステム２２０は、車両２０２に、又はその様々な部分に配置され得る、様々なタイプのセンサシステムを含むことができる。いくつかの例では、センサシステム２２０は、１つ又は複数のカメラセンサシステム、ＬＩＤＡＲセンサシステム、ＲＡＤＡＲセンサシステム、ＥｍＤＡＲセンサシステム、ＳＯＮＡＲセンサシステム、ＳＯＤＡＲセンサシステム、ＧＮＳＳ受信機システム（例えば、１つ又は複数のＧＰＳ受信機システム）、加速度計、速度センサ、ジャイロスコープ、磁力計、圧力センサシステム、ＩＭＵ、赤外線センサシステム、無線周波数（ＲＦ）センサシステム、レーザ測距システム、超音波センサシステム、超低周波センサシステム、マイクロフォン、重量センサ、それらの任意の組み合わせ、及び／又は他のセンサシステムを含むことができる。任意の数のセンサ又はセンサシステムが、車両２０２のコンピューティングシステム２１０の一部として含まれ得ることを理解されたい。

【0099】

[0113] 車両コンピューティングシステム２１０はいくつかの構成要素及び／又はシステムを含むものとして示されるが、車両コンピューティングシステム２１０は図２に示されるものより多数又は少数の構成要素を含むことができることを当業者は理解するだろう。例えば、車両コンピューティングシステム２１０は、１つ又は複数の入力デバイス及び１つ又は複数の出力デバイス（図示せず）も含むことができる。いくつかの実装形態では、車両コンピューティングシステム２１０は、（例えば、制御システム２１４、インフォテインメントシステム２１６、通信システム２２２、及び／若しくはセンサシステム２２０の一部として、又はそれらとは別に）少なくとも１つのプロセッサ及び少なくとも１つのプロセッサによって実行されるコンピュータ実行可能命令を有する少なくとも１つのメモリも含むことができる。少なくとも１つのプロセッサは、少なくとも１つのメモリと通信しており、かつ／又はそれに電気的に接続される（「結合される」又は「通信可能に結合される」と呼ばれる）。少なくとも１つのプロセッサは、例えば、１つ又は複数のマイクロコントローラ、１つ又は複数のＣＰＵ、１つ又は複数のＦＰＧＡ、１つ又は複数のＡＳＩＣ、１つ又は複数のＧＰＵ、１つ又は複数のＮＰＵ、１つ又は複数のＤＳＰ、１つ又は複数のＩＳＰ、１つ又は複数のＶＰＵ、１つ又は複数のアプリケーションプロセッサ（Ａｐｓ）（例えば、１つ又は複数のソフトウェアアプリケーションを走らせ、又は実行するための）、及び／又は他のプロセッサを含むことができる。少なくとも１つのメモリは、例えば、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）（例えば、スタティックＲＡＭ（ＳＲＡＭ））、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、１つ若しくは複数のバッファ、１つ若しくは複数のデータベース、及び／又は他のメモリを含むことができる。少なくともメモリの中に、又は少なくともメモリ上に記憶されるコンピュータ実行可能命令は、本明細書において説明される機能又は動作の１つ又は複数を実施するために実行され得る。

【0100】

[0114] 図３は、車両内位置特定のための例示的なシステムプロセス３００を示す図である。この例では、モバイルデバイス１５０は、車両２０２の内部に位置する。モバイルデバイス１５０は、車両２０２の運転者など、車両２０２の乗員によって装着されるＡＲデバイスを含むことができる。モバイルデバイス１５０は、システムプロセス３００を使用して、それ自体を車両２０２内で位置特定することができる。

【0101】

[0115] モバイルデバイス１５０は、車両内位置特定を使用して、車両２０２に対するその姿勢を理解し、車両２０２の乗員を監視して、乗員の任意の乗員障害（例えば、注意散漫、中毒、眠気、健康緊急事態／条件、ストレス及び／又は高まった感情状態、不注意など）を検出し、乗員活動／イベントを監視し、車両イベント／活動を監視／検出し、車両イベントを緩和し、及び／又は車両２０２の動作を制御し、乗員に対してどの（もしあれば）コンテンツ（例えば、仮想コンテンツ、イベント、データ、ユーザインターフェースなど）をレンダリング（及び／又はフィルタリング）すべきかなどを判定することができる。場合によっては、モバイルデバイス１５０によってレンダリング／フィルタリングされるコンテンツは、センサ測定値、検出されたイベントなど、車両２０２及び／又はモバイルデバイス１５０上のセンサシステム１０２からのデータを含む（又はそれらからのデータに基づく）ことができる。

【0102】

[0116] 場合によっては、車両２０２は、乗員のためにコンテンツをレンダリング／フィルタリングすることもできる。例えば、車両２０２は、車両２０２上／におけるスクリーン、車両２０２上／におけるヘッドアップディスプレイ、車両２０２のダッシュボード上のディスプレイ、車両２０２上／におけるプロジェクタデバイス、及び／又は任意の他のディスプレイデバイスを使用してコンテンツをレンダリングすることができる。いくつかの例では、車両２０２によってレンダリングされるコンテンツは、車両２０２からのデータ、センサシステム１０２からのデータ、及び／又はウェアラブルデバイス、別の車両のコンピューティングシステムなどの１つ又は複数の他のデバイスからのデータを含むことができる。場合によっては、車両２０２は、車両２０２の座標系に対するモバイルデバイス１５０の姿勢を受信し、姿勢情報を使用して、どのコンテンツをレンダリング及び／若しくはフィルタリングするかを判定し、並びに／又はそのようなコンテンツをどこで及び／若しくはいつレンダリング／フィルタリングするかを判定することができる。

【0103】

[0117] 示されるように、車両コンピューティングシステム２１０上の車両アプリケーション３０２は、車両テンプレート３０４をモバイルデバイス１５０に送信することができる。モバイルデバイス１５０は、本明細書で更に説明するように、車両テンプレート３０４を使用して、それ自体を車両２０２内で位置特定することができる。車両テンプレート３０４は、車両２０２の内部のランドマーク／マーカ３０６を指定及び／又は記述することができる。車両テンプレート３０４は、車両２０２の座標系に対するランドマーク／マーカ３０６の座標を指定することもできる。ランドマーク／マーカ３０６の座標は、車両２０２の座標系に対するランドマーク／マーカ３０６の位置及び／又は向きを含み得る。ランドマーク／マーカ３０６は、モバイルデバイス１５０上の１つ又は複数の画像センサ（例えば、画像センサ１０４）を使用して撮像及び検出され得る任意の視覚ランドマーク／マーカを含み得る。例えば、ランドマーク／マーカ３０６は、車両２０２内部の１つ又は複数の視覚パターン、車両２０２内部の能動照明、車両２０２内部の要素又はオブジェクト（可動及び／又は不動要素）、デバイス、車両２０２内部の一部、及び／又は任意の他の視覚ランドマーク／マーカを含み得る。いくつかの実施例では、画像センサのうちの１つ又は複数は、ＲＦ及び／又はＩＲ撮像を行うように構成されることができる。これらの例では、ランドマーク／マーカ３０６は、ＲＦ及び／又はＩＲで感知され得る車両２０２の内部のオブジェクト及び／又はパターンを含み得る。

【0104】

[0118] いくつかの例では、ランドマーク／マーカ３０６は、車両２０２の内部（及び／又は内部のオブジェクト）に配置及び／又は固定された１つ又は複数のパターン又はコード（例えば、クイックレスポンス（ＱＲ）コード、バーコード、チェッカー盤パターン、形状、シンボルなどのパターン化デザイン）、車両２０２の内部（及び／又は内部のオブジェクト）に配置及び／又は固定されたライト（例えば、発光ダイオード（ＬＥＤ）、電球など）、車両２０２の内部のオブジェクト（例えば、ドア、窓、座席、ヘッドレスト、車両２０２のダッシュボード／パネル及び／又はセンターコンソールの構成要素（例えば、計装、ラジオ／メディアシステム（及び／又はその構成要素））、ハンドル、ホーン、信号伝達システム、シフトレバー、カップホルダ、制御装置など）、車両２０２の内部の可動及び／又は不動要素（例えば、車両２０２の（例えば、フロントガラス、窓、ダッシュ、ドア、サイドパネル、リアウィンドウなどの）内部のコーナーなどの部分、カーシート、ハンドルなど）を含み得る。

【0105】

[0119] モバイルデバイス１５０は、ランドマーク／マーカ３０６を撮像するために１つ又は複数の画像センサ１０４を使用することができる。例えば、モバイルデバイス１５０は、１つ又は複数の画像センサ１０４を使用して、車両２０２内のランドマーク／マーカ３０６を示す１つ又は複数の画像をキャプチャすることができる。モバイルデバイス１５０の位置特定エンジン３１２は、１つ又は複数の画像センサ１０４からの１つ又は複数の画像及び車両テンプレート３０４を使用して、車両２０２内でそれ自体を位置特定することができる。例えば、モバイルデバイス１５０は、１つ又は複数の画像センサ１０４によってキャプチャされた１つ又は複数の画像中に示されたランドマーク／マーカ３０６を検出することができる。位置特定エンジン３１２は、車両テンプレート３０４を使用して、車両２０２の座標系に対するランドマーク／マーカ３０６の座標（及び向き）を判定することができる。位置特定エンジン３１２は、車両２０２の座標系に対するランドマーク３０６の座標を、モバイルデバイス１５０の座標系に対する関連付けられた座標に変換するために、変換などのアルゴリズムを実装することができる。位置特定エンジン３１２は、車両２０２に対するランドマーク／マーカ３０６の座標、及びモバイルデバイス１５０に対するランドマーク／マーカ３０６の座標を使用して、車両２０２内のモバイルデバイス１５０の姿勢（例えば、車両２０２の座標系に対する）を判定し得る。

【0106】

[0120] いくつかの例では、位置特定エンジン３１２は、モバイルデバイス１５０の座標系に対するモバイルデバイス１５０の追跡されたロケーション（例えば、モバイルデバイス１５０上の１つ又は複数のセンサからのセンサデータに基づく）を使用して、ランドマーク／マーカ３０６のロケーション及び／又は向きに対するモバイルデバイス１５０の姿勢を判定することができる。位置特定エンジン３１２は、車両２０２の座標系に対するモバイルデバイス１５０の姿勢を判定するために、ランドマーク／マーカ３０６のロケーション及び／又は向きに対するモバイルデバイス１５０の姿勢を使用することができる。

【0107】

[0121] 場合によっては、位置特定エンジン３１２は、他のセンサ（例えば、ロケーションセンサ１０６、ＩＭＵ１０８など）からのデータを使用して、車両２０２内のモバイルデバイス１５０の姿勢を判定するのを支援することができる。例えば、ロケーションセンサ（単数又は複数）１０６は、センサデータ／信号（例えば、ＷｉＦｉ又はＢｌｕｅｔｏｏｔｈなどのＲＦ信号、超音波信号など）を使用して、車両２０２内の１つ又は複数のオブジェクトに対するモバイルデバイス１５０の姿勢を判定することができる。ロケーションセンサ（単数又は複数）１０６は、モバイルデバイス１５０の判定された姿勢を位置特定エンジン３１２に与えることができる。位置特定エンジン３１２は、車両２０２内のモバイルデバイス１５０を位置特定するために、前述したように、そのような姿勢情報並びにランドマーク／マーカ３０６に基づいて判定されたロケーション及び／又は向き情報を使用することができる。

【0108】

[0122] 車両内位置特定に基づいて、位置特定エンジン３１２は、車両２０２の座標系に対するモバイルデバイス１５０の姿勢を示す位置特定データ３１４を生成することができる。位置特定エンジン３１２は、位置特定データ３１４をモバイルデバイス１５０上のＡＲアプリケーション３１０に提供することができる。いくつかの例では、ＡＲアプリケーション３１０は、位置特定データ３１４を使用して、車両２０２の乗員のための（例えば、モバイルデバイス１５０のユーザのための）ユーザインターフェースをレンダリングし、乗員のために（もしあれば）どのコンテンツをレンダリングすべきかを判定し、（もしあれば）どのコンテンツをフィルタリングすべきかを判定し、乗員を（例えば、障害、活動／イベントなどについて）監視し、イベントを緩和し、並びに／又は本明細書で説明されるような任意の他の出力及び／若しくは判定を行うことができる。場合によっては、位置特定エンジン３１２及び／又はモバイルデバイス１５０は、位置特定データ３１４を車両コンピューティングシステム２１０に提供することができ、車両コンピューティングシステム２１０上の車両アプリケーション３０２は、位置特定データ３１４を使用して、ユーザインターフェース及び／又は本明細書に説明される任意の他のデータをレンダリングすることができる。場合によっては、車両アプリケーション３０２は、追加又は代替として、イベントデータ、乗員の状態に関するデータ（例えば、乗員の障害を示すデータ）、車両計装データ、及び／又は任意の他のデータを使用して、ユーザインターフェース及び／又は乗員のための任意の他の仮想コンテンツをレンダリングすることができる。

【0109】

[0123] 場合によっては、モバイルデバイス１５０は、１つ又は複数の画像を使用して、任意の他のデータ及び／又はモダリティを用いて又は用いずに、モバイルデバイス１５０の姿勢を判定することができる。例えば、モバイルデバイス１５０は、車両２０２の座標系に対するモバイルデバイス１５０の姿勢を判定するために、車両２０２の内部の１つ又は複数の画像を使用することができる。１つ又は複数の画像は、車両２０２の内部における１つ又は複数のランドマーク／マーカを描写することができる。モバイルデバイス１５０は、１つ又は複数の画像を使用して、それ自体に対する１つ又は複数のランドマーク／マーカの位置を識別することができ、モバイルデバイス１５０は、それを使用して、車両２０２内のモバイルデバイス１５０の姿勢（例えば、１つ又は複数のランドマーク／マーカに対する、及び／又は車両２０２の座標系に対する）を判定することができる。

【0110】

[0124] 図４Ａは、車両乗員支援のための拡張現実の例示的なシステムプロセス４００を示す図である。この例では、車両２０２は、前述のようにランドマーク３０６を含み得る。車両コンピューティングシステム２１０は、車両２０２上のセンサシステム２２０からセンサデータ４０６を取得することができる。センサデータ４０６は、本明細書で更に説明するように、モバイルデバイス１５０に提供される車両データ４０８の少なくとも一部を生成するために使用され得る。いくつかの例では、センサデータ４０６はまた、車両アプリケーション３０２の車両監視エンジン４０２によって、車両２０２及び／又は車両２０２の動作を監視するために、及び／又は車両アプリケーション３０２のイベント緩和エンジン４０４によって、イベント緩和を実行する（例えば、運転者を支援する、運転者によって開始／トリガされたエラー及び／又は動作を訂正するなど）ために使用され得る。例えば、車両監視エンジン４０２は、センサデータ４０６を使用して、車両２０２及びその周囲に関連する状況イベント及び／又は他のイベント（例えば、切迫したイベント及び／又は発生しているイベント）を認識及び／又は監視することができる。別の例として、イベント緩和エンジン４０４は、センサデータ４０６を使用して、例えば、限定はしないが、１つ又は複数の車両機能、動作、及び／又はアクションを防止及び／又は実施することと、運転者に対する警告／警報を生成することと、運転者によって開始／トリガされたエラー及び／又は動作を訂正することと、セーフガードを実施することと、１つ又は複数の自律運転能力を作動させることなどの、運転者イベント緩和アクションを実行することができる。いくつかの例では、イベント緩和エンジン４０４は、本明細書で説明するように、モバイルデバイス１５０からの１つ又は複数の運転者監視イベントの受信に応答して、運転者イベント緩和アクションを実行することができる。

【0111】

[0125] センサデータ４０６は、車両２０２の状況／状態、車両周囲の状況、ナビゲーション情報、運転／動作イベント、安全イベントなどに関する情報を提供することができる。例えば、センサデータ４０６は、車両２０２の動作（例えば、速度、進行方向／方向、加速度／減速度など）、車両２０２のロケーション、車両２０２に関連付けられた運転／動作統計、車両２０２に関連付けられた検出された活動／イベントに関連付けられたタイムスタンプ、任意の条件（例えば、オブジェクト、車線区分線、交通信号、歩行者、他の車両、動物、道路条件、交通、天候、インフラストラクチャ条件、照明、付近の障害物など）及び／又は車両２０２の外部の活動／イベント（例えば、車両２０２の経路に沿って、車両２０２の外部で発生、車両２０２の周囲、車両２０２の外部の環境、車両２０２の近傍など）、ナビゲーション情報などを示すデータを含むことができる。

【0112】

[0126] 別の例として、センサデータ４０６は（追加又は代替として）、車両２０２の任意の条件及び／又は状態（例えば、バッテリー充電状態、燃料残量、警告及び／又はエラー、故障又は誤動作など）、車両２０２の１つ又は複数の構成要素の任意の条件及び／又は状態（例えば、タイヤ、ブレーキ、車両センサ、エンジン、ドアロック、無線及び／又は音響システム、制御及び／又は信号伝達システム、車両コンピューティングシステム２１０、死角情報システム、運転者監視システム、ブレーキシステム、自律運転構成要素、駐車センサ、運転者支援システム、ナビゲーションシステム、自動車ヘッドアップディスプレイ、光センサ、車両ライト、車両通信システム（例えば、Ｖ２Ｖ、Ｖ２Ｉ、Ｖ２Ｘ）など）、車両２０２によって実装される又は実装されている任意の機能／アクション（例えば、オートパイロット、トラクション制御、クルーズ制御、衝突回避、車線逸脱、車線中心化、安定性制御、ブレーキ支援、交通警報、車線維持、高速道路支援、駐車、交通標識認識、死角監視、運転者監視、交差点支援、車線変更支援、インテリジェント速度適応、タイヤ圧力監視、旋回、加速／減速、信号伝達など）、任意の車両安全関連イベント（例えば、切迫した衝突、動作エラー、１つ又は複数の規制の違反（例えば、速度制限、シートベルト規制、車線変更規制、道路安全規則など）、衝突及び／又は衝撃イベントなどを含み得る。

【0113】

[0127] 場合によっては、センサデータ４０６は、車両２０２の乗員に関連付けられた測定値を含むことができる。例えば、センサデータ４０６は、車両２０２の１つ又は複数の座席上の１つ又は複数の重量センサからの測定値を含むことができる。１つ又は複数の重量センサからの測定値は、乗員が車両２０２の特定の座席にいることを示すことができる。いくつかの例では、１つ又は複数の重量センサの測定値は、本明細書で更に説明するように、乗員及び／又はモバイルデバイス１５０の位置を判定するのを助けるために使用され得る。例えば、測定値は、乗員が車両２０２の特定の座席にいることを示し得る。モバイルデバイス１５０は、本明細書で更に説明するように、１つ又は複数のセンサを使用して乗員のロケーション／位置を確認することができる。

【0114】

[0128] 車両２０２は、前述したようにランドマーク３０６を含み得る。車両コンピューティングシステム２１０は、車両データ４０８をモバイルデバイス１５０に提供することができる。車両データ４０８は、車両テンプレート（例えば、車両テンプレート３０４）を含むことができる。いくつかの例では、車両データ４０８はまた、センサデータ４０６及び／又はセンサデータ４０６に基づいて生成されたデータのいずれかを含むことができる。場合によっては、センサデータ４０６に基づいて生成されるデータは、例えば、限定するものではないが、センサデータ４０６内の情報の記述（例えば、センサ測定値及び／又は車両計装の記述）、センサデータ４０６から生成される１つ又は複数の判定及び／又は予測（例えば、車両２０２の環境内で発生し、かつ／又は車両２０２の動作（及び／又は関連する安全リスク）に影響を及ぼすと推定される、判定及び／又は予測されるイベントなど）、センサデータ４０６から生成される１つ又は複数の出力及び／又は推論、センサデータ４０６に関連する統計及び／又はメトリック、センサデータ４０６によって識別及び／又は記述されるイベント、車両２０２に関連する状況情報（例えば、車両２０２の状況／状態）、センサデータ４０６の１つ又は複数の属性などを含むことができる。

【0115】

[0129] 例えば、場合によっては、車両データ４０８は、車両テンプレートと、センサデータ４０６に含まれる及び／若しくはセンサデータ４０６から生成されるイベントデータ、並びに／又はセンサデータ４０６に含まれる及び／若しくはセンサデータ４０６から生成される車両状況情報のうちの少なくとも１つとを含むことができる。場合によっては、イベントデータは、１つ又は複数のオブジェクト及び／又は対象（例えば、歩行者、動物、インフラストラクチャオブジェクト、建物、デバイス、自転車、バイク、交通、ゲート、標識など）、障害物（例えば、窪み、縁石、コーン、木、道路工事、事故、道路ブロック、電気ケーブル、路側のゴミ又は物体、デブリ、水分、氷、雪など）、事件（例えば、衝突、接近又は切迫した遭遇、別の車両による操縦、路側活動、緊急又は緊急車両など）、別の車両など、車両２０２を取り囲む及び／又は関連付けられた環境におけるイベント（例えば、進入／接近イベント、退出イベント、静止イベント、移動イベント、予測イベントなど）の指標を含むことができる。

【0116】

[0130] 場合によっては、イベントは、１つ又は複数のイベント及び／又は車両のロケーション／軌道、及び／又は車両２０２の動作／ナビゲーションに対する関連性に基づく１つ又は複数のイベントを含むことができる。例えば、イベントは、車両２０２の経路内で／経路に沿って検出されたイベント、及び／又は車両２０２による閾値期間若しくは閾値移動距離内で車両２０２の経路内に／経路に沿って存在すると予測されるイベント、車両２０２及び／又は車両２０２の経路に対する閾値近接度／距離内のイベント、車両２０２による操縦（例えば、加速、減速、旋回、制動、車線中心化、衝突回避、停止、信号伝達等）及び／又は車両２０２の動作（例えば、ポリシー）の変更（例えば、経路変更、自律運転機能の変更又は実施、１つ又は複数の運転パラメータ及び／又は閾値の変更等）をトリガ／促すと推定されるイベント等を含み得る。

【0117】

[0131] 車両データ４０８内の車両テンプレートは、車両２０２内のランドマーク３０６の指標と、車両２０２の座標系に対する（例えば、車両２０２上の車両コンピューティングシステム２１０の座標系に対する）ランドマーク／マーカ３０６の座標及び／又は向きとを含み得る。例えば、車両テンプレートは、車両２０２内のランドマーク／マーカの記述と、車両２０２の座標系に対するランドマーク／マーカの座標及び／又は向きとを含み得る。モバイルデバイス１５０は、前述のように、車両データ４０８（及び車両データ４０８の任意の他の部分）内の車両テンプレートを使用して、それ自体を車両２０２内で位置特定することができる。いくつかの例では、モバイルデバイス１５０はまた、車両データ４０８を使用して、例えば、本明細書で説明されるＡＲ、監視、レンダリング、制御、通信、運転者支援、及び／又は緩和機能のいずれかなど、本明細書で説明される機能のいずれかを実行することができる。

【0118】

[0132] 位置特定エンジン３１２は、車両２０２内のモバイルデバイス１５０を位置特定する位置特定データ３１４を生成することができる。位置特定エンジン３１２は、本明細書で更に説明されるように、監視エンジン４１０、コンテンツフィルタリングエンジン４１２、及び／又は車両ユーザインターフェース４１４による使用のために、位置特定データ３１４をＡＲアプリケーション３１０に提供することができる。位置特定データ３１４は、車両２０２の座標系に対するモバイルデバイス１５０の姿勢を含むことができる。いくつかの例では、位置特定エンジン３１２は、車両データ４０８に基づいて（例えば、車両データ４０８内の車両テンプレートに基づいて）、及びモバイルデバイス１５０の１つ又は複数の画像センサ１０４からの画像データに基づいて、位置特定データ３１４を生成することができる。

【0119】

[0133] 例えば、位置特定エンジン３１２は、１つ又は複数の画像センサ１０４から、ランドマーク／マーカ３０６の１つ又は複数の画像を取得することができる。１つ又は複数の画像は、ランドマーク／マーカ３０６のうちの１つ又は複数を描写することができる。位置特定エンジン３１２は、１つ又は複数の画像内に描写されるランドマーク／マーカ３０６を検出することができる。位置特定エンジン３１２は、車両テンプレートを使用して、車両テンプレートにおいて参照／記述された任意の検出されたランドマーク／マーカの座標及び／又は向きを判定することができる。車両テンプレート内の座標及び／又は向きに基づいて、位置特定エンジン３１２は、車両２０２の座標系に対する検出されたランドマーク／マーカの位置及び／又は向きを判定することができる。

【0120】

[0134] 場合によっては、位置特定エンジン３１２はまた、追跡エンジン４２０からの追跡データ４２２を使用して、モバイルデバイス１５０の姿勢を判定することができる。いくつかの例では、追跡データ４２２は、以下で更に説明するように、物理空間におけるモバイルデバイス１５０の姿勢を含むことができる。場合によっては、位置特定エンジン３１２は、車両２０２の座標系に対するモバイルデバイス１５０の姿勢を判定するために、検出されたランドマークに対するモバイルデバイス１５０の姿勢を判定することができる。例えば、位置特定エンジン３１２は、モバイルデバイス１５０の座標系に対するランドマーク／マーカ３０６の位置及び／又は向きを判定するために、ランドマーク／マーカ３０６を示す１つ又は複数の画像を使用することができる。位置特定エンジン３１２は、ランドマーク／マーカ３０６の位置及び／又は向きと、追跡エンジン４２０からの追跡データ４２２に示されるモバイルデバイス１５０の姿勢とを使用して、ランドマーク／マーカ３０６に対するモバイルデバイス１５０の姿勢を判定することができる。位置特定エンジン３１２は、モバイルデバイス１５０とランドマーク／マーカ３０６との相対姿勢を使用して、車両２０２の座標系に対するモバイルデバイス１５０の姿勢を判定することができる。

【0121】

[0135] いくつかの例では、車両２０２の座標系に対するモバイルデバイス１５０の姿勢を判定するために、位置特定エンジン３１２は、車両２０２の座標系に対する検出されたランドマークの座標を、モバイルデバイス１５０の座標系に対する対応する座標に変換（例えば、転換（convert）、平行移動（translate）等）し得る。例えば、場合によっては、位置特定エンジン３１２は、車両２０２の座標系に対する検出されたランドマーク／マーカの座標に対応する、モバイルデバイス１５０の座標系に対する座標を判定することができる。位置特定エンジン３１２は、車両２０２の座標系に対する検出されたランドマーク／マーカのロケーション（例えば、座標）、及びモバイルデバイス１５０の座標系に対する検出されたランドマーク／マーカのロケーション（例えば、座標）に対するモバイルデバイス１５０の座標系に対するモバイルデバイス１５０のロケーション（例えば、座標）を使用して、車両２０２の座標系に対するモバイルデバイス１５０の姿勢を判定することができる。

【0122】

[0136] 場合によっては、位置特定エンジン３１２はまた、前述のように、ロケーションセンサ１０６からのデータを使用して、位置特定データ３１４の生成を支援することができる。例えば、場合によっては、ロケーションセンサ１０６は、例えば、ＲＦベースの位置特定／測位、超音波ベースの位置特定／測位など、１つ又は複数の位置特定信号／アルゴリズムを使用して、モバイルデバイス１５０の姿勢及び／又はランドマーク／マーカ３０６のうちの１つ又は複数を判定することができる。

【0123】

[0137] 場合によっては、センサデータ４０６は、車両２０２の１つ又は複数の座席上の１つ又は複数の重量センサからの測定値を含むことができる。１つ又は複数の重量センサからの測定値は、モバイルデバイス１５０を保持又は装着している乗員が車両２０２の特定の座席にいることを示すことができる。この情報は、前に説明したように、モバイルデバイス１５０によって判定されたモバイルデバイス１５０のロケーション／位置を確認するために使用され得る。

【0124】

[0138] 追跡エンジン４２０は、センサデータを取得し、追跡動作を実行するためにセンサデータを使用することができる。追跡動作は、モバイルデバイス１５０、車両２０２の乗員（及び／又は乗員の１つ又は複数の身体部分、例えば、手、目、指、頭部姿勢など）などの姿勢（例えば、ロケーション、向きなど）を追跡することができる。センサデータは、１つ又は複数の画像センサ１０４からの画像データ、ＩＭＵ１０８からの位置情報（例えば、角速度、線加速度、向き、及び／又はピッチ、ロール、及びヨーの変化）、及び／又はモバイルデバイス１５０及び／又は車両２０２のロケーションセンサ１０６などの１つ又は複数の他のセンサからのデータを含むことができる。いくつかの例では、追跡エンジン４２０は、モバイルデバイス１５０の姿勢を判定するために、モバイルデバイス１５０の位置追跡（例えば、６自由度（６ＤＯＦ）位置追跡など）を実行するために、１つ又は複数の画像センサ１０４、ＩＭＵ１０８、及び／又はロケーションセンサ１０６からのデータを使用することができる。追跡エンジン４２０は、追跡データ４２２を生成し、監視エンジン４１０、コンテンツフィルタリングエンジン４１２、及び／又は車両ユーザインターフェース４１４による使用のために、追跡データ４２２をＡＲアプリケーション３１０に提供することができる。いくつかの例では、追跡データ４２２は、モバイルデバイス１５０の座標系に対するモバイルデバイス１５０の姿勢を含むことができる。

【0125】

[0139] 追跡エンジン４２０は、カルマンフィルタ、手追跡アルゴリズム、機械学習アルゴリズム、光線追跡アルゴリズム、視線及び／又は目追跡アルゴリズム、コンピュータビジョンアルゴリズム、位置追跡アルゴリズムなどの１つ又は複数の追跡アルゴリズムを使用して、モバイルデバイス１５０及び／又は車両２０２の乗員の１つ又は複数の身体部分（例えば、目、手、指、頭など）を追跡することができる。乗員は、車両２０２の運転者又は乗客を含むことができる。追跡エンジン４２０は、追跡データ４２２をＡＲアプリケーション３１０に提供することができる。追跡データ４２２は、本明細書で更に説明されるように、位置及び／又は向き情報を含むことができる。

【0126】

[0140] 場合によっては、追跡エンジン４２０は、複数の追跡動作を実行することができる。例えば、追跡エンジン４２０は、モバイルデバイス１５０と、車両２０２の乗員の１つ又は複数の身体部分（例えば、手、目、頭、指、姿勢など）とを追跡することができる。いくつかの例では、追跡エンジン４２０は、車両２０２の乗員の手（単数又は複数）を追跡することができる。いくつかの例では、追跡エンジン４２０は、車両２０２の乗員の目及び／又は視線を追跡することができる。

【0127】

[0141] 例示のために、図４Ｂを参照すると、追跡エンジン４２０は、デバイス追跡エンジン４３０、手追跡エンジン４３２、及び／又は目追跡エンジン４３４を含むことができる。デバイス追跡エンジン４３０は、先に説明したように、モバイルデバイス１５０の位置及び／又は向きを追跡することができる。デバイス追跡エンジン４３０は、ＡＲアプリケーション３１０のためのデバイス追跡データ４４０を生成することができる。場合によっては、デバイス追跡データ４４０は、図４Ａに示されている追跡データ４２２の少なくとも一部を含むか、又は表すことができる。

【0128】

[0142] デバイス追跡エンジン４３０は、モバイルデバイス１５０の姿勢を追跡するために、１つ又は複数の画像センサ１０４からの１つ又は複数の画像及び／又はＩＭＵ１０８からの慣性センサデータを使用することができる。場合によっては、デバイス追跡エンジン４３０は、（追加又は代替として）ロケーションセンサ１０６などの１つ又は複数の追加のセンサからのデータを使用して、モバイルデバイス１５０の姿勢を追跡することができる。例えば、ロケーションセンサ１０６は、１つ又は複数のＲＦ信号を取得し、１つ又は複数のＲＦ信号に関連付けられたラウンドトリップ時間（ＲＴＴ）、１つ又は複数のＲＦ信号に関連付けられた到着時間（ＴＯＡ）、１つ又は複数のＲＦ信号に関連付けられた受信信号強度インジケータ（ＲＳＳＩ）などに基づいて、モバイルデバイス１５０に関連付けられた姿勢情報を生成することができる。デバイス追跡エンジン４３０は、モバイルデバイス１５０の姿勢を追跡するためにロケーションセンサ１０６からの姿勢情報を使用することができる。

【0129】

[0143] 手追跡エンジン４３２は、モバイルデバイス１５０に関連付けられた乗員の１つ又は複数の手を追跡することができる。手追跡エンジン４３２は、ＡＲアプリケーション３１０のための手追跡データ４４２を生成することができる。場合によっては、手追跡データ４４２は、図４Ａに示されている追跡データ４２２の少なくとも一部を含むか、又は表すことができる。手追跡エンジン４３２は、１つ又は複数の画像センサ１０４からの画像データを使用して、乗員の１つ又は複数の手を追跡することができる。画像データは、乗員の１つ又は複数の手の１つ又は複数の画像を含むことができる。手追跡エンジン４３２は、１つ又は複数の画像内の１つ又は複数の手を検出し、１つ又は複数の手を示す１つ又は複数の画像に基づいて物理空間内の１つ又は複数の手の姿勢を判定することができる。場合によっては、手追跡エンジン４３２は、（追加又は代替として）ロケーションセンサ１０６などの１つ又は複数の追加のセンサからのデータを使用して、１つ又は複数の手の姿勢を追跡することができる。例えば、ロケーションセンサ１０６は、１つ又は複数のＲＦ信号を取得し、１つ又は複数のＲＦ信号に関連付けられたＲＴＴ、１つ又は複数のＲＦ信号に関連付けられたＴＯＡ、１つ又は複数のＲＦ信号に関連付けられたＲＳＳＩなどに基づいて、１つ又は複数の手に関連付けられた姿勢情報を生成することができる。手追跡エンジン４３２は、ロケーションセンサ１０６からの姿勢情報を使用して、１つ又は複数の手を追跡することができる。

【0130】

[0144] 手追跡エンジン４３２は、手追跡アルゴリズム、機械学習アルゴリズム、光線追跡アルゴリズム、コンピュータビジョンアルゴリズムなどの１つ又は複数の追跡アルゴリズムを使用して、１つ又は複数の手を追跡することができる。手追跡エンジン４３２は、手追跡データ４４２をＡＲアプリケーション３１０に提供することができる。手追跡データ４４２は、物理空間における１つ又は複数の手の姿勢を含むことができる。

【0131】

[0145] 目追跡エンジン４３４は、１つ又は複数の画像センサ１０４からの画像データを使用して、乗員の目及び／又は視線を追跡することができる。目追跡エンジン４３４は、ＡＲアプリケーション３１０のための目追跡データ４４４を生成することができる。目追跡データ４４４は、１つ又は複数の時間又は期間において判定された乗員の視線を含むことができる。場合によっては、目追跡データ４４４は、図４Ａに示されている追跡データ４２２の少なくとも一部を含むか、又は表すことができる。

【0132】

[0146] 画像データは、乗員の目を描写する１つ又は複数の画像を含むことができる。目追跡エンジン４３４は、１つ又は複数の画像内の目を検出し、１つ又は複数の画像内の検出された目に基づいて乗員の視線を判定することができる。いくつかの例では、目追跡エンジン４３４は、１つ又は複数の画像と、光線追跡アルゴリズム、機械学習アルゴリズム、コンピュータビジョンアルゴリズムなどの１つ又は複数のアルゴリズムとを使用して、乗員の視線を検出することができる。目追跡エンジン４３４は、前述のように、目追跡データ４４４をＡＲアプリケーション３１０に提供することができる。

【0133】

[0147] ＡＲアプリケーション３１０は、位置特定データ（例えば、位置特定データ３１４）及び追跡データ（例えば、追跡データ４２２、デバイス追跡データ４４０、手追跡データ４４２、及び／又は目追跡データ４４４）を使用して、例えば、乗員監視（例えば、監視エンジン４１０を介して）、仮想コンテンツフィルタリング（例えば、コンテンツフィルタリングエンジン４１２を介して）、コンテンツレンダリング（例えば、車両ユーザインターフェース４１４を介して）、それらの組み合わせ、及び／又は本明細書に説明されるような他の機能等の種々の機能を行うことができる。例えば、場合によっては、ＡＲアプリケーション３１０は、車両２０２に関連付けられたイベント及び／又はモバイルデバイス１５０に関連付けられた乗員を監視するように構成された監視エンジン４１０を実装することができる。

【0134】

[0148] ＡＲアプリケーション３１０は、追加又は代替として、位置特定データ（例えば、位置特定データ３１４）、追跡データ（例えば、追跡データ４２２、デバイス追跡データ４４０、手追跡データ４４２、及び／又は目追跡データ４４４）、監視エンジン４０２からの乗員データ、車両アプリケーション３０２上の車両データ４０８及び／又は監視エンジン４１０からの車両状態データ及び／又はイベントデータ、センサデータ、及び／又は任意の他のデータを使用して、仮想コンテンツが乗員のためにレンダリングされるのをフィルタリング／ブロックし、かつ／又は仮想コンテンツレンダリングからライブカメラフィードなどのライブコンテンツに切り替えるように構成されたコンテンツフィルタリングエンジン４１２を実装することができる。

【0135】

[0149] ＡＲアプリケーション３１０は、追加又は代替として、仮想コンテンツ、ライブコンテンツ（例えば、カメラフィード等）、及び／又はユーザインターフェース要素等のデータをレンダリングするように構成される、車両ユーザインターフェース４１４を実装することができる。車両ユーザインターフェース４１４は、位置特定データ（例えば、位置特定データ３１４）、追跡データ（例えば、追跡データ４２２、デバイス追跡データ４４０、手追跡データ４４２、及び／又は目追跡データ４４４）、監視エンジン４１０からの乗員データ、車両アプリケーション３０２上の車両データ４０８及び／又は監視エンジン４０２からの車両及び／又はイベントデータ、センサデータ、及び／又は任意の他のデータに基づいて、データをレンダリングすることができる。

【0136】

[0150] 監視エンジン４１０は、モバイルデバイス１５０に関連付けられた乗員を監視し、乗員の状態を検出することができる。いくつかの例では、乗員の状態は、乗員の視線、乗員の姿勢、乗員の活動、乗員の任意の障害、及び／又は乗員に関する任意の他の情報を含むことができる。乗員の障害は、車両２０２を安全に操作（例えば、運転、制御、管理等）する乗員の能力にインパクト／影響を与え得る任意のイベント、活動、注意散漫、状態、属性、挙動、及び／又は条件（例えば、認知的、感情的又は心理的、生理学的、視覚的、オーディオ、及び／又は状況的イベント、条件、属性、活動、挙動、注意散漫、及び／又は状態）を含むことができる。例えば、障害は、車両２０２を操作し（例えば、運転する、制御する、管理する等）、車両２０２の動作中に車両２０２が遭遇する任意のイベント／条件を検出／認識し、車両２０２の動作中に車両２０２が遭遇するイベント／条件を回避及び／又は反応し、車両２０２を操作することに対する注意／集中の閾値量（及び／又は車両２０２に関連する任意のイベント／条件、車両２０２の動作、車両２０２の環境／周囲等）を維持する（及び／又は閾値期間にわたって注意／集中を維持する）などのための、乗員の能力（及び／又は関連する応答／反応時間）にネガティブにインパクト／影響を与え得るものを含み得る。

【0137】

[0151] いくつかの例では、障害は、（例えば、車両２０２及び／又は関連する車両及び／又は関連するイベントの動作からの）注意散漫、眠気の状態、中毒の状態、健康緊急事態（例えば、卒中、心臓発作、発作、緊張病状態、意識喪失など）、感情的又は心理的ストレスの状態、高まった感情状態、意識喪失、無能力化、生理学的状態、乗員コンテキスト（例えば、乗員の位置／姿勢、乗員挙動、乗員の動き、乗員活動、乗員の車両２０２及び／又は乗員の環境との関わり、乗員の運動の自由度又は柔軟性を抑制／制限し、かつ／又は乗員の反応時間を短縮する衣服などの乗員衣服、処方眼鏡又はシートベルトなどの医療又は安全デバイスを着用しなかったこと、乗員の視界が悪い条件でのサングラスなどの乗員の視界を低下させるアイテム、又は乗員の視界を遮断又は部分的に遮断し得る衣服など）、安全性リスクを増加させ、かつ／又は乗員が車両２０２を制御し、かつ／又は運転及び／又は車両関連イベントに応答する能力を低下させ得るもの、乗員の認知状態、車両２０２内の高雑音レベル（例えば、乗員が関連する音に集中し、かつ／又は聞く能力を制限し得る）などを含み得る。

【0138】

[0152] 場合によっては、障害は、車両２０２の動作及び／又は車両２０２に関連付けられたイベントに対する乗員の注意散漫状態、乗員の中毒状態、乗員の健康状態、乗員の覚醒状態、乗員の検出された感情状態、車両２０２を制御するための（乗員の）障害位置（例えば、運転中に屈む、車両２０２の１つ又は複数の制御装置から離れる、車両２０２の動作／挙動を制御するための運転制御装置以外の１つ又は複数のオブジェクトで占有された１つ又は複数の手など）、障害視界（例えば、道路及び／又は環境の視界／可視性の障害物、光及び／又は可視性条件の障害又は低下など）、及び／又は任意の他の障害を含み得る。

【0139】

[0153] いくつかの例では、監視エンジン４１０は、位置特定データ（例えば、位置特定データ３１４）、追跡データ（例えば、追跡データ４２２、デバイス追跡データ４４０、手追跡データ４４２、及び／若しくは目追跡データ４４４）、並びに／又は車両データ４０８（若しくはその一部）などの任意の他のイベント、状態、及び／若しくはセンサデータを使用して、乗員（例えば、運転者、乗客など）を監視し、乗員の任意の障害を検出することができる。例えば、監視エンジン４１０は、（例えば、車両データ４０８及び／又はセンサデータ４０６から判定される）車両２０２の（車両を安全に操作する乗員の能力、例えば、状態／状況、動作、車両イベントなどに関連する、特徴付ける、及び／又は影響を及ぼす）コンテキスト、（例えば、位置特定データ（例えば、位置特定データ３１４）、追跡データ（例えば、追跡データ４２２、デバイス追跡データ４４０、手追跡データ４４２、及び／又は目追跡データ４４４）、及び／又は１つ又は複数の画像センサ１０４、ＩＭＵ１０８、ロケーションセンサ１０６、及び／又は任意の他のセンサ及び／又はデータから判定される）乗員の姿勢、乗員に対してモバイルデバイス１５０によってレンダリングされた任意の仮想コンテンツ、及び／又はレンダリングされた仮想コンテンツとの任意の検出されたユーザ相互作用（例えば、乗員相互作用）（例えば、入力、視線及び／又は集中、ジェスチャなど）、目追跡データ、慣性センサデータ、運転統計、他のセンサデータ、それらの任意の組み合わせ、及び／又は任意の他のデータに基づいて乗員の任意の障害を判定することができる。

【0140】

[0154] 例えば、車両２０２のコンテキストは、特定のイベント（例えば、車両の安全な動作に影響を及ぼす）が発生した、又は発生することが予想されることを示し得る。監視エンジン４１０は、特定のイベントに応答して車両２０２を制御し、かつ／又は特定のイベントに関連付けられた安全性の問題及び／又はリスクを回避するために、乗員がイベント（及び／又はイベントに関連付けられた特定のエリア／方向）に集中し、かつ／又は注意を払うべきであり、仮想コンテンツ（又は他のコンテンツ）によって注意を逸らされるべきではなく、特定の方法で移動すべきではなく、特定の仮想コンテンツに関与すべきではなく、車両２０２の操作に注意を払うべきであり、車両２０２の特定の操作に関連しない特定の活動に関与すべきではなく、特定の方向に向いているべきであり、乗員が特定のイベント（及び／又は車両２０２の動作）に応答することを可能にするために特定の方法で位置決めされるべきである等を判定してもよい。あるいは、監視エンジン４１０は、車両２０２の状態／状況及び／又は乗員の位置、注意／集中、視線、向き、動き、コンテンツの関与、活動などに基づいて、乗員が障害状態であると判定し得る。

【0141】

[0155] 場合によっては、車両２０２のコンテキストは、車両２０２の状態／状況、車両イベントなどを含むことができる。いくつかの例では、車両２０２に関連付けられたイベント（例えば、車両イベント）は、車両２０２の経路内の障害物、車両２０２の経路への閾値近接度内の障害物、車両２０２の経路内の異なる車両（例えば、車、バス、バイク、オフロード車両、自転車、列車、トラック等）、車両２０２の経路への閾値近接度内の異なる車両、（例えば、車両２０２の経路内／経路に沿って、車両２０２の経路に近接してなど）車両２０２の経路に関連付けられた交通規制（例えば、交通標識、案内標識、可変メッセージ標識、交通コーン、矢印ボード、建設用バレル、バリケード、交通マーカ、一時的な隆起した安全地帯、交通信号機等）、制限速度内に車両２０２が留まることができないこと、車線又は車線区分線内に車両２０２が留まらなかったこと、道路内に車両２０２が留まらなかったこと、交通イベント（例えば、事故、交通ルート変更、停止、交通増加、道路閉鎖等）等を含み得る。いくつかの例では、障害物は、歩行者、動物、物体、別の車両、道路条件、木、障害物などを含むことができる。

【0142】

[0156] 場合によっては、車両２０２の状態は、例えば、限定するものではないが、加速、減速、信号伝達（例えば、方向指示灯など）、選択された／アクティブなギア、警告（例えば、エンジン警告、バッテリー警告、燃料警告、タイヤ警告、ライト警告など）、操縦（例えば、方向転換、出口／退出、入口／進入、Ｕターン、停止／制動など）、車両及び／又は車両部品の条件／状況（例えば、エンジン、バッテリー、１つ又は複数の車両ライト（例えば、ヘッドライト、テールライト、日中走行灯、後退灯、非常灯、フォグライト、オフロードライト、信号灯、ブレーキライトなどの条件／状況）、タイヤ（例えば、タイヤ空気圧、タイヤ警告、パンク条件など）、１つ又は複数のブレーキ又はブレーキシステムの条件／状況、燃料状況及び／又は燃料読み取り値などの状態／状況）、１つ又は複数の車両構成要素／機能の故障又は特定の動作、運転状態、自律状態、車両機能状態などの車両２０２の動作及び／又は状況を含むことができる。

【0143】

[0157] 場合によっては、監視エンジン４１０は、乗員の状態（例えば、乗員の障害）を、様々なキュー（例えば、視覚キュー及び／又はオーディオキュー）及び／又は乗員に関する情報、例えば、乗員の条件、特性、及び／又は状態乗員の任意の活動／動き、乗員の挙動、乗員の視線などに基づいて判定することができる。例えば、監視エンジン４１０は、乗員の視線又は目の動きのパターン（例えば、不規則な目の動き、刺激に対する応答性の低下、長期の目の視線、不規則な目の視線、特定のロケーション又は方向への集中など）、目の特性（例えば、赤み、瞳孔サイズ、生気のない目など）、１つ又は複数のイベントに対する乗員による反応時間及び／又は特性（例えば、誇張された反応、反応時間の低下など）、乗員の顔の表情、乗員の頭の姿勢及び／又は頭の動き（例えば、ジャーキング、頭部回転、傾斜又はぐったりした頭部）、乗員の姿勢（例えば、ぐったりした、うずくまる、体が傾く、不規則な姿勢など）、乗員の動き（例えば、痙攣、運動機能、大げさな動きなど）、乗員による手のジェスチャ、乗員の運転姿勢（例えば、車両２０２の現在の状態／状況／動作を考慮して、及び／又は一般的に）、乗員の運転パターン（例えば、加速／減速のパターン、車線変更のパターン、制動のパターン、信号伝達のパターン（又はその欠如）、車両操縦のパターン、旋回のパターンなど）に基づいて障害を判定することができる。

【0144】

[0158] 場合によっては、監視エンジン４１０は、（視覚キューに加えて、又は視覚キューの代わりに）オーディオキューに基づいて乗員の障害を判定することができる。例えば、場合によっては、監視エンジン４１０は、モバイルデバイス１５０及び／又は車両２０２のマイクロフォンなどの１つ又は複数のセンサからオーディオデータを取得し、オーディオデータに基づいて障害を判定することができる。例示のために、監視エンジン４１０は、１つ又は複数の発話特性（例えば、不明瞭な発話、速い発話など）、乗員の声（例えば、声の大きさ又は柔らかさなど）、乗員の認識された発話の内容などに基づいて障害を判定することができる。

【0145】

[0159] 場合によっては、監視エンジン４１０は、車両２０２の状態／状況及び／又はモバイルデバイス１５０によってレンダリングされたコンテンツに基づいて、障害を判定することができる。例えば、車両２０２の状態が、車両が高速で移動していること、視界が悪い環境で移動していること、困難な条件（例えば、濡れた又は氷のような条件、厳しい気象条件、急旋回、激しく通過したエリア、大量の歩行者及び／又は他の交通など）で移動していること、操縦を行っていることなどを示す場合、監視エンジン４１０は、乗員がモバイルデバイス１５０によってレンダリングされた仮想コンテンツに閾値期間にわたって集中しているか、又は閾値期間にわたって特定のエリア／ロケーション（例えば、道路、車両イベントのロケーションなど）から離れて集中していると判定された場合、（例えば、車両２０２の操作又は安全な操作（例えば、運転）に関係なく）乗員が他の活動に関わっていると判定された場合、乗員が特定の車両制御装置から離れて位置していると判定された場合、乗員が運転安全性を低下させる又は運転リスクを増加させると判定された特定の姿勢／位置を有すると判定された場合（例えば、前かがみ、曲げ、回転など）、乗員がシートベルトを着用していない場合、視界が悪い条件（例えば、夜間、荒れ模様の気象条件中、濃霧中など）において、乗員が車両灯（例えば、ヘッドライト、フォグライト、テールライト、ブレーキライトなど）なしで車両２０２を操作しているなどの場合、乗員の障害を判定できる。監視エンジン４１０は、前述のように乗員に関する任意のキュー（視覚的及び／又はオーディオ）に加えて、又はそのようなキューなしで、車両２０２の状態／状況及び／又はモバイルデバイス１５０によってレンダリングされた内容に基づいて、障害を判定することができる。

【0146】

[0160] 場合によっては、車両アプリケーション３０２の車両監視エンジン４０２は、同様に、乗員の任意の障害を判定することができる。車両監視エンジン４０２は、ＡＲアプリケーション３１０の監視エンジン４１０によって判定された任意の障害情報に加えて、又はその代わりに、任意の障害を判定することができる。例えば、場合によっては、車両監視エンジン４０２は、ＡＲアプリケーション３１０の監視エンジン４１０によって判定された障害情報と組み合わせて障害情報を判定することができる。別の例として、場合によっては、車両監視エンジン４０２は、ＡＲアプリケーション３１０の監視エンジン４１０によって判定されるいかなる障害情報とも別個に、及び／又はそれを伴わずに、障害情報を判定することができる。更に、車両監視エンジン４０２は、以下で更に説明するように、車両２０２のコンテキストを示すデータなどの任意の車両データに加えて、任意の障害を判定することができる。

【0147】

[0161] いくつかの例では、コンテンツフィルタリングエンジン４１２は、位置特定データ（例えば、位置特定データ３１４）、追跡データ（例えば、追跡データ４２２、デバイス追跡データ４４０、手追跡データ４４２、及び／又は目追跡データ４４４）、監視エンジン４１０（及び／又は車両監視エンジン４０２）からの障害情報、並びに／あるいは車両データ４０８（又はその一部）などの任意の他のイベント、状態、及び／又はセンサデータを使用して、乗員のためにフィルタリング／ブロック及び／又はレンダリングするコンテンツを判定／選択することができる。例えば、コンテンツフィルタリングエンジン４１２は、（例えば、車両コンピューティングシステム２１０の）車両２０２の座標系に対するモバイルデバイス１５０の姿勢と、車両２０２のコンテキスト（例えば、車両２０２の状態／状況、車両イベント／動作等）を示す車両データとを使用して、車両２０２の動作及び／又は車両イベントから乗員の注意を逸らし得る、車両イベント及び／又は及び／又はコンテンツフィルタリングエンジン４１２が乗員に見えるままであるべきと判定する車両２０２の外部の特定の領域に対する乗員の視界を妨げ得る特定のコンテンツをフィルタリング／ブロックすることができる。場合によっては、コンテンツをフィルタリング／ブロックする代わりに、又はそれに加えて、コンテンツフィルタリングエンジン４１２は、モバイルデバイス１５０によってレンダリングされた仮想コンテンツを、車両イベント又は車両２０２の外部の環境に対する乗員の視界を妨げない可能性があるライブコンテンツ（例えば、ライブカメラフィード）に置き換えることができる。別の例として、コンテンツフィルタリングエンジン４１２は、モバイルデバイス１５０の姿勢及び車両２０２の状態に関する情報を使用して、特定のイベントの方向／ロケーションなどの、特定の方向及び／又は特定のロケーションに乗員の注意を引く仮想コンテンツをレンダリングすることができる。

【0148】

[0162] 場合によっては、コンテンツフィルタリングエンジン４１２は、車両２０２の座標系に対するモバイルデバイス１５０の姿勢を使用して、車両２０２からの情報及び／又は車両２０２に関連付けられた情報をモバイルデバイス１５０の姿勢と相関させることができる。例えば、車両２０２の状態／状況は、車両コンピューティングシステム２１０によって報告された車両イベントのロケーションを示し得る。車両イベントのロケーションは、車両の座標系に対するものであってもよい。したがって、モバイルデバイス１５０の姿勢は、車両の座標系に対して両方とも知られているので、車両イベントのロケーションに相関され得る。コンテンツフィルタリングエンジン４１２は、車両２０２の座標系に対するモバイルデバイス１５０の姿勢を使用して、乗員のためにレンダリングされた任意の仮想コンテンツが、車両２０２の座標系に対する車両２０２によって報告されたイベントに対する乗員の視界を遮るかどうかを判定することができる。コンテンツフィルタリングエンジン４１２が、車両２０２の座標系に対する特定のロケーションでコンテンツを遮ることを判定した場合、コンテンツフィルタリングエンジン４１２は、車両２０２の座標系に対するモバイルデバイス１５０の姿勢を使用して、特定のロケーションでレンダリングされることから任意のコンテンツをフィルタリング／ブロックすることができる。

【0149】

[0163] いくつかの例では、コンテンツフィルタリングエンジン４１２は、乗員の気を逸らしている、又は乗員の気を逸らすと判定された任意の仮想コンテンツをフィルタリングすることができる。例えば、コンテンツフィルタリングエンジン４１２は、ビデオゲームコンテンツ（又は任意の他のコンテンツ）が乗員の気を逸らす可能性があると判定し、任意のビデオゲームコンテンツをフィルタリングして、車両２０２を操作している間にそのようなコンテンツが乗員に対してレンダリングされることを防止することができる。他の例では、コンテンツフィルタリングエンジン４１２は、車両２０２の経路に沿った（又は経路の近傍内の）障害物、交通イベント、又は本明細書に記載の任意の車両イベントなどの特定のイベントに対する乗員の視界／可視性を遮断／妨害すると判定された任意の仮想コンテンツをフィルタリングすることができる。例えば、コンテンツフィルタリングエンジン４１２は、車両２０２の座標系に対するモバイルデバイス１５０の姿勢と、車両２０２の座標系に対する車両イベントのロケーション（例えば、車両データ４０８において示すことができる）とに基づいて、車両データ４０８において識別された車両イベントに対する乗員の視界が仮想コンテンツによって遮られると判定することができる。次いで、コンテンツフィルタリングエンジン４１２は、そのような仮想コンテンツをフィルタリング／ブロックして、車両イベントに対する乗員の視界が遮られるのを防止することができ、かつ／又は仮想コンテンツのレンダリングからライブフィードの提供に切り替えることができる。いくつかの例では、ライブフィードは、車両イベントを描写してもよく、又は車両イベントを妨害しないことがある。

【0150】

[0164] 車両ユーザインターフェース４１４は、乗員のためのコンテンツ及び／又はユーザインターフェース要素をレンダリングすることができる。いくつかの例では、車両ユーザインターフェース４１４は、車両２０２の状態／状況に基づいてコンテンツ及び／又はユーザインターフェース要素をレンダリング又は生成することができる。いくつかの例では、車両ユーザインターフェース４１４は、障害情報を使用して、コンテンツをレンダリングするかどうか、及び／又はどのコンテンツを乗員のためにレンダリングするかを判定することができる。例えば、監視エンジン４１０からの障害情報が、乗員が注意を逸らされていることを示す場合、車両ユーザインターフェース４１４は、そのような情報を使用して、乗員の注意を逸らし得る（若しくは逸らし続ける）コンテンツのレンダリングを停止するか、又は乗員の注意を特定のロケーション及び／若しくはアクション／動作に引き付ける（かつ乗員の注意を逸らす異なるロケーション及び／若しくはアクション／動作から離れるように）ように構成されたコンテンツをレンダリングすることができる。

【0151】

[0165] 車両ユーザインターフェース４１４は、車両２０２の座標系に対するモバイルデバイス１５０の姿勢を使用して、乗員のためにコンテンツをどこにレンダリングするか（又はレンダリングするかどうか）を判定することができる。例えば、車両２０２の座標系に対する何かに乗員の注意を引くために特定のロケーションでコンテンツをレンダリングするために、車両ユーザインターフェース４１４は、車両２０２の座標系に対するモバイルデバイス１５０の姿勢を使用して、その特定のロケーションでコンテンツをレンダリングすることができる。別の例として、車両コンピューティングシステム２１０が、車両２０２の座標系に対する特定のロケーションに関連付けられたあるデータを報告する場合、車両ユーザインターフェース４１４は、車両の座標系に対するモバイルデバイス１５０の姿勢を使用して、車両２０２の座標系に対するその特定のロケーションにデータをレンダリングするか、又は車両２０２の座標系に対するその特定のロケーションに対して判定された異なるロケーションにデータをレンダリングすることができる。

【0152】

[0166] いくつかの例では、車両ユーザインターフェース４１４は、車両２０２の座標系に対するモバイルデバイス１５０の姿勢を使用して、乗員のためにコンテンツをどこにレンダリングするかを判定することができる。例えば、車両ユーザインターフェース４１４は、車両イベントに関連付けられた特定のロケーションに仮想コンテンツ（例えば、矢印、境界ボックス、画像、パルス光など）をレンダリングして、乗員の注意を車両イベントに引き付けることができる。別の例として、車両ユーザインターフェース４１４は、車両イベントのロケーションとは異なるロケーションに仮想コンテンツをレンダリングして、仮想コンテンツが車両イベントに対する乗員の視界を妨げることを防止することができる。いくつかの例では、車両ユーザインターフェース４１４は、乗員の状態及び／又は車両２０２のコンテキストに基づいて、乗員のためにレンダリングする特定のコンテンツを選択することができる。例えば、特定のイベントに対する乗員の視界を妨げることを回避するために、車両ユーザインターフェース４１４は、仮想コンテンツではなくライブコンテンツ（例えば、ライブカメラフィード）をレンダリングしてもよい。別の例として、乗員の気を逸らすことを回避するために、車両ユーザインターフェース４１４は、ライブコンテンツではなく仮想コンテンツをレンダリングすることができる。例示すると、車両２０２のコンテキストが、別の車両が道路脇で故障したこと、又は警察によって引っ張られたことを示す場合、車両ユーザインターフェース４１４は、乗員がむやみに見ることを防止するために、ライブコンテンツではなく仮想コンテンツ（又はコンテンツなし）をレンダリングすることができる。代替として、コンテンツフィルタリングエンジン４１２は、むやみに見ることを防止するためにライブコンテンツをフィルタリングしてもよく、車両ユーザインターフェース４１４は、代わりに、仮想コンテンツをレンダリングしてもよく、又はコンテンツを全くレンダリングしなくてもよい。場合によっては、ライブコンテンツは、モバイルデバイス１５０上の１つ又は複数の画像センサ１０４及び／又は車両２０２の１つ又は複数の画像センサからのライブフィードを含むことができる。

【0153】

[0167] 場合によっては、ＡＲアプリケーション３１０は、イベントデータ４２４を生成することができる。ＡＲアプリケーション３１０はまた、イベントデータ４２４を車両コンピューティングシステム２１０に送信することができる。場合によっては、ＡＲアプリケーション３１０は、位置特定データ（例えば、位置特定データ３１４）、追跡データ（例えば、追跡データ４２２、デバイス追跡データ４４０、手追跡データ４４２、及び／又は目追跡データ４４４）監視エンジン４１０、コンテンツフィルタリングエンジン４１２、及び／又は車両ユーザインターフェース４１４からの任意の出力及び／又はデータ、モバイルデバイス１５０の任意のセンサ（例えば、画像センサ１０４、ロケーションセンサ１０６、ＩＭＵ１０８など）からのデータ、アプリケーションデータ、ユーザ入力、及び／又は任意の他のデータに基づいてイベントデータ４２４を生成することができる。場合によっては、イベントデータ４２４は、位置特定データ（例えば、位置特定データ３１４）を含むことができる。追跡データ（例えば、追跡データ４２２、デバイス追跡データ４４０、手追跡データ４４２、及び／又は目追跡データ４４４）監視エンジン４１０、コンテンツフィルタリングエンジン４１２、及び／又は車両ユーザインターフェース４１４からの任意の出力及び／又はデータ、モバイルデバイス１５０の任意のセンサ（例えば、画像センサ１０４、ロケーションセンサ１０６、ＩＭＵ１０８など）からのデータ、アプリケーションデータ、ユーザ入力、及び／又は任意の他のデータに基づいてイベントデータ４２４を生成することができる。場合によっては、イベントデータ４２４は、追加又は代替として、位置特定データ（例えば、位置特定データ３１４）から生成されたイベント、及び／又は位置特定データの記述を含むことができる。追跡データ（例えば、追跡データ４２２、デバイス追跡データ４４０、手追跡データ４４２、及び／又は目追跡データ４４４）監視エンジン４１０、コンテンツフィルタリングエンジン４１２、及び／又は車両ユーザインターフェース４１４からの任意の出力及び／又はデータ、モバイルデバイス１５０の任意のセンサ（例えば、画像センサ１０４、ロケーションセンサ１０６、ＩＭＵ１０８など）からのデータ、アプリケーションデータ、ユーザ入力、及び／又は任意の他のデータに基づいてイベントデータ４２４を生成することができる。

【0154】

[0168] いくつかの例では、イベントデータ４２４は、上記で説明したように監視エンジン４１０によって判定された乗員の状態、ＡＲアプリケーション３１０からのコンテンツ、それらの任意の組み合わせ、並びに／又は任意の他の乗員及び／若しくはデバイス情報を含む、示す、及び／又は記述することができる。いくつかの例では、乗員の状態は、監視エンジン４１０によって判定された乗員の障害を含むことができる。場合によっては、乗員の状態は、追加又は代替として、乗員の姿勢（例えば、ロケーション、向き、姿勢等）、乗員の任意の動き、乗員による任意の活動、乗員の視線、乗員の頭部姿勢、乗員に関する任意の情報、及び／又は乗員の注意／集中を示す任意の他の情報、乗員の活動、乗員の動き、乗員の可視性又は視野（ＦＯＶ）、乗員の挙動、乗員の位置（例えば、ロケーション、向き、姿勢等）、乗員のリーチ（例えば、１つ又は複数の車両制御装置へのリーチ）、乗員の関与、及び／又は乗員が車両２０２の動作を制御する及び／又は車両２０２に関連付けられたイベントに反応する能力（及び／又は可能性）を含むことができる。

【0155】

[0169] 前述したように、ＡＲアプリケーション３１０は、イベントデータ４２４を車両２０２に送信することができる。例えば、ＡＲアプリケーション３１０は、イベントデータ４２４を車両コンピューティングシステム２１０に送信することができる。場合によっては、車両コンピューティングシステム２１０は、イベントデータ４２４を受信し、処理／分析のために車両アプリケーション３０２にイベントデータ４２４を提供することができる。場合によっては、車両アプリケーション３０２は、イベントデータ４２４及び／又はセンサデータ４０６に基づいて、車両２０２の挙動、動作、機能、及び／又は状態を制御することができる。

【0156】

[0170] 例えば、場合によっては、車両アプリケーション３０２のイベント緩和エンジン４０４は、イベントデータ４２４及び／又はセンサデータ４０６に基づいて、車両２０２の挙動、動作、機能、及び／又は状態を制御（例えば、修正、実装、有効化、無効化、管理等）することができる。いくつかの例では、イベント緩和エンジン４０４は、１つ又は複数の車両機能、車両システム、自律能力などを制御及び／又は関与させることができる。例えば、イベント緩和エンジン４０４は、オートパイロット機能、トラクション制御機能、クルーズコントロール機能、衝突回避機能、車線逸脱機能、車線中心化機能、ブレーキ支援機能、車線維持機能、高速道路支援機能、車線変更支援機能、速度適応機能、信号機能、交差点支援機能、死角監視システム、運転者監視システム（例えば、監視エンジン４０２及び／又は任意の運転者監視システム）、ブレーキシステム、自律運転制御システム、運転者支援システム、ナビゲーションシステム、ステアリング制御システム、車両通信システム、自動車ヘッドアップディスプレイ、及び／又は任意の他の車両システム、機能、及び／又は能力を制御及び／又は関与させることができる。

【0157】

[0171] 場合によっては、イベント緩和エンジン４０４は、イベントデータ４２４に基づいて車両２０２を制御して、乗員の状態及び／又はイベントデータ４２４に含まれる乗員に関する他の情報から生じる任意のイベント及び／又はリスクを緩和することができる。いくつかの例では、イベント緩和エンジン４０４は、イベントデータ４２４に基づいて、車両の１つ又は複数の先進運転者支援システム（ＡＤＡＳ）によって実行される機能などの１つ又は複数の運転者支援機能をアクティブ化すること、及び／又は車両の自律運転のポリシー／レベルを高めることができる。例示のために、イベントデータ４２４が、車両２０２の乗員が障害を受けている（例えば、注意を逸らしている、中毒であるなど）ことを示す場合、イベント緩和エンジン４０４は、乗員が障害を受けている間に車両２０２の動作の少なくとも部分的な制御を行うように、車両２０２の自律能力に関与し、及び／又は車両２０２の自律運転ポリシー／レベルを修正することができる。別の例として、イベントデータ４２４が、車両２０２の乗員がセンサデータ４０６において識別された近くの障害物に注意を払っていない、又は近くの障害物を見ることができない（例えば、乗員の視線が異なる方向にあるため、乗員の視界が遮られているため、視界状態が悪いためなど）ことを示す場合、イベント緩和エンジン４０４は、少なくとも障害物が回避されるか、又は潜在的な問題がなくなるまで、車両２０２の自律能力に関与し、及び／又は車両２０２の自律運転ポリシー／レベルを修正して、車両２０２の動作の少なくとも部分的な制御を行うことができる。

【0158】

[0172] いくつかの例では、イベント緩和エンジン４０４は、乗員の任意の検出された障害を他の外部デバイスに通知／警告することができる。例えば、イベント緩和エンジン４０４は、他の車両、他のユーザ（例えば、歩行者、別の車両の乗員、交通ガード／コントローラなど）に関連付けられた１つ又は複数のリモートコンピューティングデバイス、車両インフラストラクチャ（例えば、信号機、交通カメラ、街灯、サイネージ、パーキングメータ、車線マーカなど）、１つ又は複数の緊急応答システム及び／又は人員などに通知することができる。

【0159】

[0173] 車両アプリケーション３０２の監視エンジン４０２は、センサデータ４０６を使用して、車両２０２のコンテキスト（車両を（安全に）動作させる乗員の能力に関連する、特徴付ける、及び／又は影響を及ぼす）を監視及び／又は検出することができる。先に説明したように、いくつかの例では、車両２０２のコンテキストは、車両２０２の状態（例えば、状況、動作、挙動、軌道、条件、構成、動作メトリック、環境、車両パラメータ、機能など）、車両イベントなどを含むことができる。例えば、車両２０２のコンテキストは、特定の車両イベント（車両の安全動作に影響を及ぼす、例えば、特定の活動、条件、事件、環境、動作など）が発生したか、又は発生することが予想されることを示すことができる。別の例として、車両２０２のコンテキストは、車両２０２の動作、挙動、及び／又は状況を示すことができる。いくつかの例では、監視エンジン４０２は、センサデータ４０６を使用して、例えば、車両２０２の状態、車両イベントなど、車両２０２のコンテキストの任意の態様を判定することができる。

【0160】

[0174] 例えば、監視エンジン４０２は、センサデータ４０６内の１つ又は複数の画像（例えば、センサシステム２２０の１つ又は複数の画像センサによってキャプチャされる車両２０２の外部のシーン及び／又は環境の一部の１つ又は複数の画像）上に示される１つ又は複数のアイテム（例えば、オブジェクト、イベント、人、動物、道路、車両、シーン、活動、交通規制、構造、障害物、デバイス、ジェスチャなど）を検出、認識、及び／又は位置特定し、１つ又は複数の動き測定値（例えば、速度、角速度、向き、進行方向、加速度、減速度など）を含むセンサデータ４０６から慣性センサデータを判定し、センサデータ４０６内の（例えば、全地球測位システム（ＧＰＳ）受信機又は全地球航法衛星システム（ＧＮＳＳ）受信機などの１つ又は複数のロケーションデバイスからの）ロケーション情報を判定し、車両２０２に対する１つ又は複数のアイテムのロケーション／位置及び／又は車両２０２に対する１つ又は複数のアイテム（例えば、オブジェクト、イベント、人、動物、道路、木、車両、シーン、交通規制、活動、ジェスチャ、デバイス、構造、障害物など）の近接度／距離を示す／記述するセンサデータ４０６内の（例えば、ＲＡＤＡＲ、ＬＩＤＡＲ、画像センサ、ＲＦベースの測位システムなどの１つ又は複数のセンサからの）追加のロケーション情報を判定することなどによって、車両２０２のコンテキストを判定することができる。

【0161】

[0175] 場合によっては、監視エンジン４０２はまた、モバイルデバイス１５０のＡＲアプリケーション３１０からのイベントデータ４２４を使用して、車両２０２のコンテキストを監視及び／又は検出することができる。例えば、監視エンジン４０２は、車両２０２のコンテキストを判定するときに、イベントデータ４２４に示される乗員の状態（例えば、障害、視線、位置、活動など）を考慮することができる。

【0162】

[0176] 図５は、車両（例えば、車両２０２）の乗員５０２のためにレンダリングされる仮想コンテンツを調整するための例示的なユースケース５００を示す図である。前に説明したように、ＡＲアプリケーション３１０は、モバイルデバイス１５０によってレンダリングされる仮想コンテンツを（例えば、コンテンツフィルタリングエンジン４１２及び／又は車両ユーザインターフェース４１４を介して）調整／修正することができる。ＡＲアプリケーション３１０は、ＡＲアプリケーション３１０の監視エンジン４１０によって判定された乗員の状態、並びに／又は車両データ４０８において識別された、及び／若しくは車両アプリケーション３０２の監視エンジン４０２によって判定された車両２０２のコンテキストに基づいて、仮想コンテンツを（例えば、コンテンツフィルタリングエンジン４１２及び／又は車両ユーザインターフェース４１４を介して）調整することができる。

【0163】

[0177] いくつかの例では、ＡＲアプリケーション３１０は、仮想コンテンツの特性（例えば、サイズ、輝度、透明度、ロケーション、向き等）を無効にする、減光する、又は調整することによって、仮想コンテンツを調整することができる。場合によっては、ＡＲアプリケーション３１０は、ある期間にわたるすべての仮想コンテンツ、車両２０２の特定のコンテキスト中のすべての仮想コンテンツ、乗員の状態中のすべての仮想コンテンツ、除外又は必要とされるものとしてマークされた仮想コンテンツのサブセットを除くすべての仮想コンテンツ（例えば、ＨＵＤコンテンツ、車両計装コンテンツ、ナビゲーションコンテンツ、緊急警報など）、乗員が集中している仮想コンテンツの任意の部分、車両イベントを不明瞭にしている任意の仮想コンテンツなどを調整することができる。

【0164】

[0178] 例えば、ＡＲアプリケーション３１０は、モバイルデバイス１５０によってレンダリングされた１つ又は複数の仮想コンテンツアイテム（又はすべての仮想コンテンツ）を（例えば、コンテンツフィルタリングエンジン４１２を介して）フィルタリング／ブロックすることによって、仮想コンテンツを調整することができる。別の例として、ＡＲアプリケーション３１０は、どの仮想コンテンツが提示されるか、いつ仮想コンテンツが提示されるか、どこに仮想コンテンツが提示されるか、提示される仮想コンテンツの１つ又は複数の特性（例えば、透明度、サイズ、輝度、ロケーション、向きなど）などを（例えば、車両ユーザインターフェース４１４を介して）制御することによって、仮想コンテンツを調整することができる。いくつかの例では、ＡＲアプリケーション３１０は、ＡＲアプリケーション３１０の監視エンジン４１０によって判定された乗員の状態、並びに／又は車両データ４０８において識別された、及び／若しくは車両アプリケーション３０２の監視エンジン４０２によって判定された車両２０２のコンテキストに基づいて、仮想コンテンツを（例えば、コンテンツフィルタリングエンジン４１２を介して）フィルタリング／ブロックすることができる。いくつかの例では、ＡＲアプリケーション３１０は、監視エンジン４０２によって判定された乗員の状態、並びに／又は車両データ４０８において識別された及び／若しくは監視エンジン４１０によって判定された車両２０２のコンテキストに基づいて、モバイルデバイス１５０によって提示される仮想コンテンツを（例えば、車両ユーザインターフェース４１４を介して）調整することができる。

【0165】

[0179] 図５に示される例示的なユースケース５００では、車両２０２の乗員５０２は、車両２０２を運転するために車両２０２のハンドル５０５を使用しながら、ＨＭＤ又はスマートグラスなどのモバイルデバイス１５０を装着している。時間Ｔ_１において、モバイルデバイス１５０は、乗員５０２が車両２０２を運転している間に仮想コンテンツ５１０をレンダリングしている。次いで、モバイルデバイス１５０は、（例えば、車両データ４０８又は車両アプリケーション３０２の監視エンジン４０２からの通知に基づいて）乗員５０２の注意及び／又は相互作用を必要とするイベント５１２が発生している又は切迫している（例えば、閾値期間内及び／又は車両２０２による移動距離の閾値量内に発生する）と判定する。場合によっては、モバイルデバイス１５０は、（例えば、車両データ４０８又は車両アプリケーション３０２の監視エンジン４０２からの通知に基づいて）イベント５１２のロケーションを判定することができる。この例では、イベント５１２のロケーションは車両２０２の外部のロケーションであり、イベント５１２は車両２０２の経路を横切るベビーカーである。ここでのイベント５１２は、説明のために提供される１つの例示的な例にすぎない。したがって、他の例は、他のイベント及び／又はイベントのタイプを含んでもよい。いくつかの例では、イベントは、車両アプリケーション３０２の監視エンジン４０２及び／又は車両ユーザインターフェース４１４によって、例えば、正例及び負例に対して訓練された機械学習分類器を介して、乗員５０２の注意及び／又は対話を必要とするものとして分類され得る。

【0166】

[0180] モバイルデバイス１５０の座標系に対する仮想コンテンツ５１０のロケーションは、車両２０２の座標系に対するイベント５１２のロケーションに関連付けられる。本例では、仮想コンテンツ５１０は、モバイルデバイス１５０のロケーションからイベント５１２のロケーションまでの視線内に／視線に沿って位置する。したがって、モバイルデバイス１５０からの視線及び／又はモバイルデバイス１５０からのイベント５１２のビュー／可視性は、レンダリングされている仮想コンテンツ５１０によってブロック／妨害される。

【0167】

[0181] 仮想コンテンツ５１０が、乗員５０２がイベント５１２を見る能力を妨害／遮断することを防止するために、モバイルデバイス１５０は、仮想コンテンツ５１０の１つ又は複数の特性を調整することができる。この例では、時間Ｔ_２において、モバイルデバイス１５０は、仮想コンテンツ５１０の透明度を増加させて、仮想コンテンツ５１０を通したイベント５１２の可視性を可能にする。示されるように、時間Ｔ_２において、イベント５１２は、その透明度が増加された後、仮想コンテンツ５１０を通して見ることができる。これは、乗員５０２がイベント５１２を見て（及び監視／追跡して）、乗員５０２がイベント５１２に基づいて必要と考える車両２０２の動作に対する任意の調整を行うことを可能にする。例えば、乗員５０２は、車両２０２を停止させて、イベント５１２に関連付けられたベビーカーが通過できるようにすることができる。乗員５０２は、ベビーカーが通過した後に、運転して離れることができる。別の例として、乗員５０２は、車両２０２を加速／減速させることができ、及び／又は車両２０２がイベント５１２に関連付けられたベビーカーを回避することを可能にし得る任意の操縦を実施することができる。

【0168】

[0182] 一方、仮想コンテンツ５１０が、乗員５０２がイベント５１２を見ることを可能にするために上述のように調整されなかった場合、乗員５０２は、イベント５１２を見逃す／見落とす可能性がある。イベント５１２を見ることなく（又は反応に間に合うようにイベント５１２を見ることなく）、乗員５０２は、イベント５１２に関連付けられたベビーカーを回避することができなかった可能性があるか、又は急に及び／又はより近い距離から反応した可能性があり、これは危険を生み出した可能性があるか、又はベビーカーを回避するのに十分なタイミングでなかった可能性がある。

【0169】

[0183] 図６Ａ～図６Ｅは、仮想コンテンツを調整するための例示的なユースケースを示す図である。図６Ａを参照すると、この例におけるモバイルデバイス１５０は、車両２０２の乗員６０２が注意を逸らしており、乗員６０２の視野（ＦＯＶ）６１０内でイベントが発生すると判定している。本開示では、乗員６０２のＦＯＶ６１０は、モバイルデバイス１５０によって修正又は定義され得る。より具体的には、ＦＯＶ６１０は、モバイルデバイス１５０のそれぞれの表示エリア上で、又はそれを通して見える視野によって定義され得る。例として、スマートグラスを着用している乗員６０２のＦＯＶ６１０は、乗員の裸眼のＦＯＶと比較して一般的に縮小されるスマートグラスを通したＦＯＶによって定義され得る。別の例では、乗員の生理学的／解剖学的ＦＯＶは、ＨＭＤのディスプレイ上により大きなＦＯＶを表示することによって拡大され得る。いくつかの例では、ＦＯＶ６１０は、モバイルデバイス１５０が仮想コンテンツをレンダリングすることができるＦＯＶであり得る。ＦＯＶ６１０内のイベントを強調し、かつ／又はＦＯＶ６１０内のイベントに対する乗員６０２の注意を引くために、モバイルデバイス１５０は、ＦＯＶ６１０内にイベント関連仮想コンテンツ６１２をレンダリングすることができる。この例では、仮想コンテンツ６１２は、ＦＯＶ６１０のエッジ（又は輪郭）のパルス化を含む。エッジのパルス化は、パルス化されたエッジ内のエリアを強調し、そのエリアに乗員６０２の注意を引くことができる。

【0170】

[0184] 図６Ｂでは、モバイルデバイス１５０は、例えば、車両データ４０８に基づいて、歩行者６２０が木６１５の後ろから現れ、車両２０２の経路に向かって（又は経路内に）移動している車両イベント６２５を検出している。歩行者６２０は、以前は木６１５によって遮られており、歩行者６２０が木６１５を通過して車両２０２の経路に向かって（又は経路内に）移動するまで、乗員６０２又はモバイルデバイス１５０又は車両２０２には見えなかった。乗員６０２の注意を車両イベント６２５（歩行者６２０を含む）に引き付けるために、及び／又は車両イベント６２５（歩行者６２０を含む）のロケーションを強調するために、モバイルデバイス１５０は、車両イベント６２５のロケーションの周囲に、より具体的には、車両イベント６２５に関連付けられた歩行者６２０のロケーションの周囲に強調表示６２２をレンダリングしている。

【0171】

[0185] いくつかの例では、モバイルデバイス１５０は、車両イベント６２５及び／又は歩行者６２０などのその一部の周りに境界ボックス（又は任意の他の形状／幾何学的形状）をレンダリングすることができる。場合によっては、モバイルデバイス１５０は、乗員６０２の注意を引く（又は更に引く）ように意図された１つ又は複数の特性に従って強調表示６２２をレンダリングすることができる。例えば、モバイルデバイス１５０は、特定のサイズ、色、パターン、形状、透明度、輝度、厚さ、アニメーション、及び／又は乗員６０２の注意をよりよく引くために強調表示６２２をレンダリングするための任意の他の特性に従って、強調表示６２２をレンダリングすることができる。

【0172】

[0186] 図６Ｃは、車両イベント６２５（歩行者６２０を含む）に乗員６０２の注意を引くためのコンテンツをレンダリングし、かつ／又は車両イベント６２５（歩行者６２０を含む）を強調するための別の例を示す。この例では、モバイルデバイス１５０は、乗員６０２のＦＯＶ６１０内に方向インジケータ６３０をレンダリングしている。方向インジケータ６３０は、乗員６０２の頭部及び視線を、歩行者６２０を含む車両イベント６２５の方向に向ける。方向インジケータ６３０は、この例では、ヘッドロックされた矢印として示されている。しかしながら、他の例は、方向インジケータの他のタイプ及び／又は構成を含むことができる。

【0173】

[0187] 場合によっては、モバイルデバイス１５０は、乗員６０２の注意を引く／捉える（又は更に引く／捉える）ように意図された１つ又は複数の特性に従って、方向インジケータ６３０をレンダリングすることができる。例えば、モバイルデバイス１５０は、特定のサイズ、色、パターン、形状、透明度、輝度、厚さ、アニメーション、及び／又は任意の他の特性に従って方向インジケータ６３０をレンダリングすることができる。場合によっては、モバイルデバイス１５０は、乗員６０２の視覚／視界の周辺をパルス化して、乗員６０２の注意を更に引く／捉えることができる。

【0174】

[0188] 図６Ｄは、車両２０２の乗員６０２のためにモバイルデバイス１５０によって提示される車両イベントに対応するライブコンテンツの例を示す。この例における車両イベントは、前述のように、歩行者６２０が木６１５の後ろから横断／通過することを含む。しかしながら、この場合、乗員６０２のための仮想コンテンツをレンダリングする代わりに、モバイルデバイス１５０は、車両２０２の車両カメラ（例えば、バックアップカメラ、サイドビューカメラ、フロントカメラなど）からモバイルデバイス１５０によって取得されたカメラフィード６４０を提示している。カメラフィード６４０は、歩行者６２０を含む車両イベントを描写することができ、したがって、乗員６０２が車両イベントを観察することを可能にし得る。

【0175】

[0189] 例えば、車両カメラは、そのフィードをモバイルデバイス１５０にストリーミングすることができる。次いで、モバイルデバイス１５０は、乗員６０２による消費のために、車両カメラからのカメラフィード６４０を提示することができる。カメラフィード６４０は、歩行者６２０を含む車両イベントを示すことができる。したがって、モバイルデバイス１５０によって提示されるカメラフィード６４０は、乗員６０２が、モバイルデバイス１５０によって提示されるカメラフィード６４０から車両イベント（歩行者６２０を含む）を見ることを可能にすることができる。

【0176】

[0190] 図６Ｅは、モバイルデバイス１５０によってレンダリングされた車両イベント６２５の外部ビュー６５０を示す。この例における外部ビュー６５０は、車両壁６４１にロックされる（及び／又は投影される）。いくつかの例では、車両壁６４１は、本明細書で前述した車両テンプレートに基づくことができる。車両壁６４１は、車両２０２の乗客側の内壁として示されている。しかしながら、外部ビュー６５０は、車両内部の任意の壁、側面、又は部分にレンダリング及び／又はロックすることができる。

【0177】

[0191] 外部ビュー６５０は、歩行者６２０を含む車両イベント６２５を示すことができる。いくつかの例では、外部ビュー６５０は、車両イベント６２５の仮想コンテンツレンダリングを含むことができる。他の例では、外部ビュー６５０は、車両イベント６２５のライブコンテンツレンダリング（例えば、カメラフィード）を含むことができる。外部ビュー６５０は、車両壁６４１が乗員６０２にとって透明又は半透明に見え、車両イベント６２５が乗員６０２にとって可視に見えるように（例えば、外部ビュー６５０によってレンダリングされるように）レンダリングすることができる。場合によっては、外部ビュー６５０は、車両の座標系に対するモバイルデバイス１５０（したがって、モバイルデバイス１５０を装着している乗員６０２）の位置及び／又は車両の座標系に対する車両イベント６２５の位置に基づいて、歪みを受ける及び／又はパースペクティブ補正され得る。

【0178】

[0192] 場合によっては、モバイルデバイス１５０によってレンダリングされるコンテンツは、車両データ（例えば、車両データ４０８）又は車両データの一部を含むことができる。例えば、図６Ａ～図６Ｅに示される例のいずれかにおいてレンダリングされるコンテンツは、例えば、車両状況情報、車両計装データ、車両情報、車両２０２の１つ又は複数のセンサからのデータなどの車両データ又は車両データの一部を含むことができる。説明すると、モバイルデバイス１５０によってレンダリングされるコンテンツは、車両２０２の速度の指標、車両２０２の方向、車両２０２のルート、車両２０２のバッテリー状況、車両２０２の燃料状態、車両２０２のオイル状態、車両２０２に関連付けられた走行距離、車両２０２に関連付けられたナビゲーションデータ、車両２０２の１つ又は複数のタイヤに関連付けられたタイヤ圧力（及び／又はタイヤ状態／状況）、車両２０２においてアクティブ／オン／有効である制御信号の指標、車両ブレーキに関する情報、車両警告、車両エラー、１つ又は複数の車両ライト（例えば、ヘッドライト、テールライト、後退灯、日中走行灯、フォグライト、オフロードライト、信号灯、ブレーキライト、緊急ライトなど）に関する情報（例えば、状態／状況、警告など）、ステアリングシステムに関する情報、１つ又は複数の車両システム及び／又は自律機能に関する情報、クルーズ制御状況情報、シートベルト情報、及び／又は任意の他の車両情報及び／又は計装を含むことができる。

【0179】

[0193] 場合によっては、モバイルデバイス１５０は、車両２０２からストリーミングされた車両情報（例えば、車両状況情報、計装、ナビゲーション情報など）をレンダリングすることができる。いくつかの例では、モバイルデバイス１５０は、ヘッドロックされたＨＵＤ又はワールドロックされたユーザインターフェース（ＵＩ）要素として車両情報を提示することができる。場合によっては、モバイルデバイス１５０は、実世界のコンテンツ及び／又は広告板、事故などの乗員の注意を逸らし得るイベントを置き換えるために仮想コンテンツをレンダリングすることができる。いくつかの態様では、モバイルデバイス１５０は、画像のデータベースから「ディープフェイクされた」（例えば、合成）仮想コンテンツを生成するように訓練されたディープニューラルネットワークを使用して、本明細書で説明される仮想コンテンツのいずれかをレンダリングすることができる。場合によっては、「ディープフェイクされた」仮想コンテンツは、モバイルデバイス１５０及び／又は車両２０２によって観察されるスタイルでレンダリングすることができる。

【0180】

[0194] 前述のように、モバイルデバイス１５０のＡＲアプリケーション３１０の監視エンジン４１０は、車両２０２の１人以上の乗員の状態を監視し、理解することができる。場合によっては、車両コンピューティングシステム２１０の車両アプリケーション３０２の監視エンジン４０２は、代替又は追加として（例えば、ＡＲアプリケーション３１０の監視エンジン４１０と組み合わせて、又は別個に）、車両２０２の１人以上の乗員の状態を監視及び理解することができる。いくつかの例では、乗員の状態は、例えば、検出された障害、視線、ロケーション、乗員の姿勢（例えば、向き、ロケーションなど）、乗員の頭部姿勢、ジェスチャ、顔の表情、手のジェスチャ、活動、感情、動き、アクションを実行する意図、及び／又は乗員の他の特性など、乗員の１つ又は複数の特性を含むことができる。

【0181】

[0195] 例えば、監視エンジン４１０及び／又は監視エンジン４０２は（単独で、又は監視エンジン４１０などのモバイルデバイス１５０からのデータと組み合わせて）、車両の乗員の様々な状態を検出及び／又は認識することができる。図７Ａ～図７Ｉは、モバイルデバイス１５０のＡＲアプリケーション３１０の監視エンジン４１０及び／又は車両２０２の監視エンジン４０２によって検出される、車両２０２を運転している乗員７５０の異なる例示的な状態を示す図である。図７Ａ～図７Ｉに示される例における乗員７５０は、モバイルデバイス１５０を装着している車両２０２の運転者である。

【0182】

[0196] 図７Ａに示す例では、乗員７５０は、スマートグラスなどのモバイルデバイス１５０を装着しており、通常の運転活動７０２を行っている。監視エンジン４１０は、乗員７５０が通常の運転活動７０２を行っていると判定することができる。図示のように、この例における通常の運転活動７０２は、乗員７５０が両手でハンドルを握って車両２０２のフロントガラスの外を直接見ることを含む。更に、通常の運転活動７０２の間、乗員７５０は損なわれていない（例えば、注意散漫など）。

【0183】

[0197] 図７Ｂは、車両２０２を運転している間の乗員７５０の例示的な状態７０４を示す。この例では、状態７０４は、車両２０２を運転している間に携帯電話７５２を耳に保持することによって携帯電話７５２を使用する乗員７５０を含む。場合によっては、監視エンジン４１０は、乗員７５０が携帯電話７５２を使用していると判定し、携帯電話７５２の使用が乗員７５０を害する（例えば、気を逸らす）可能性があると判定することができる。したがって、いくつかの例では、監視エンジン４１０は、携帯電話７５２の使用に基づいて乗員７５０の障害を判定することができる。この例における障害は、注意散漫を含む。監視エンジン４１０はまた、乗員７５０が、ハンドル及び／又は任意の他の車両制御を制御するために、携帯電話７５２を保持する手を使用する必要がある場合、手が占有されていることにより、ハンドル及び／又は任意の他の車両制御を制御する乗員の能力を遅延させ（したがって、損なわせ）、したがって、事故のリスクを増加させる可能性があると判定することができる。一般に、監視エンジン４１０は、乗員の一方又は両方の手のロケーション及び／又は活動に基づいて、例えば、少なくとも一方の手がハンドル上にないと判定することに基づいて、障害の状態を検出することができる。いくつかの例では、監視エンジン４１０は、乗員が携帯電話を操作することに基づいて、障害の状態を検出することができる。

【0184】

[0198] 図７Ｃは、車両２０２を運転している乗員７５０の別の例示的な状態７０６を示す。この例では、乗員７５０の状態７０６は、乗員７５０が飲料を飲むことを含む。監視エンジン４１０は、図７Ｃに示すように、乗員７５０が飲料を飲んでいることを判定することができる。場合によっては、監視エンジン４１０は、飲料を飲むことが乗員７５０を害する（例えば、車両２０２を運転する乗員７５０の能力を害する、車両イベントに対する乗員７５０の反応及び／又は反応時間を害する、車両２０２を運転することの困難さを増大させる、事故のリスクを増大させるなど）と判定することができる。例えば、監視エンジン４１０は、飲料を飲むことが乗員７５０の気を逸らし、及び／又は乗員７５０の手のうちの少なくとも１つを占有し、したがって乗員７５０がその手を使用して車両２０２を操作し、及び／又は車両イベントに応答することを妨げることを判定することができる。監視エンジン４１０はまた、乗員７５０が、ハンドル及び／又は任意の他の車両制御を制御するために、その手を使用する必要がある場合、手が占有されていることにより、ハンドル及び／又は任意の他の車両制御を制御する乗員の能力を遅延させ（したがって、損なわせ）、したがって、事故のリスクを増加させる可能性があると判定することができる。一般に、監視エンジン４１０は、乗員の一方又は両方の手のロケーション及び／又は活動に基づいて、例えば、少なくとも一方の手がハンドル上にないと判定することに基づいて、障害の状態を検出することができる。

【0185】

[0199] 図７Ｄは、車両２０２を運転している乗員７５０の別の例示的な状態７０８を示す。この例では、状態７０８は、乗員７５０が自身の髪を調整することを含む。図示のように、乗員７５０は、髪を調整している間、車両２０２のハンドルから両手を離している。監視エンジン４１０は、乗員７５０が髪を調整しており、両手がハンドルから離れていると判定することができる。場合によっては、監視エンジン４１０は、ハンドルから両手を離すことが乗員７５０を害する（例えば、車両２０２を運転する乗員７５０の能力を害する、車両イベントに対する乗員７５０の反応及び／又は反応時間を害する、車両２０２を運転することの困難さを増大させる、事故のリスクを増大させるなど）と判定することができる。例えば、監視エンジン４１０は、髪を調整することが乗員７５０の気を逸らすこと、及び／又は両手をハンドルから離すことが、乗員７５０が車両２０２を操作するため及び／又はイベントに応答するために手を使用することを妨げることを判定することができる。監視エンジン４１０はまた、乗員７５０がハンドル（及び／又は任意の他の車両制御）の制御を行う必要がある場合、自身の髪を調整するために自身の手をハンドルから離すことは、ハンドル（及び／又は任意の他の車両制御）の制御を行う能力を遅延させ（したがって低下させ）、したがって事故のリスクを増加させる可能性があると判定することができる。一般に、監視エンジン４１０は、乗員の一方又は両方の手のロケーション及び／又は活動に基づいて、例えば、少なくとも一方の手がハンドル上にないと判定することに基づいて、障害の状態を検出することができる。

【0186】

[0200] 図７Ｅは、車両２０２を運転している乗員７５０の別の例示的な状態７１０を示す。この例では、状態７１０は、車両２０２の運転者側窓から腕７５６を伸ばすことを含む。図示のように、乗員７５０は、腕７５６を運転者側窓の外側に延ばし、腕７５６の手をハンドル及び他の車両制御装置から離しておく。監視エンジン４１０は、乗員７５０が、腕７５６を運転者側窓の外側に延ばし、その腕７５６の手をハンドル及び任意の他の車両制御から離していることを判定することができる。場合によっては、監視エンジン４１０は、腕７５６を運転者側窓から出し、その腕７５６の手をハンドル及び任意の他の車両制御から離すことが、乗員７５０を害する（例えば、車両２０２を運転する乗員７５０の能力を害する、車両イベントに対する乗員７５０の反応及び／又は反応時間を害する、車両２０２を運転する困難さを増大させる、事故のリスクを増大させるなど）と判定することができる。例えば、監視エンジン４１０は、腕７５６を運転者側窓から出し、その腕７５６の手をハンドル及び任意の他の車両制御から離すことが、乗員７５０が車両２０２を操作し、及び／又はイベントに応答するためにその手を迅速に使用することを妨げると判定することができる。いくつかの例では、監視エンジン４１０は、乗員７５０がハンドル及び／又は任意の他の車両制御を制御するために腕７５６の手を使用する必要がある場合、腕７５６及びその腕７５６の手を一時的に利用不可能にする（例えば、運転者側窓の外側に延在させる）ことは、ハンドル及び／又は任意の他の車両制御を制御する乗員の能力を遅延させる（したがって、損なう）可能性があり、したがって、事故のリスクを増加させることを判定することができる。一般に、監視エンジン４１０は、乗員の一方又は両方の手のロケーション及び／又は活動に基づいて、例えば、少なくとも一方の手がハンドル上にないと判定することに基づいて、障害の状態を検出することができる。

【0187】

[0201] 図７Ｆは、車両２０２を運転している乗員７５０の別の例示的な状態７１２を示す。この例では、状態７１２は、車両２０２の運転中のあくびを含む。監視エンジン４１０は、乗員７５０が車両２０２の運転中にあくびをしていると判定することができる。場合によっては、監視エンジン４１０は、あくびが乗員７５０の障害を示していると判定することができる。例えば、監視エンジン４１０は、あくびが、車両２０２を運転する及び／又は車両イベントに応答する乗員７５０の能力に悪影響を及ぼし得る、眠い状態及び／又は限られた集中／注意を示すことを判定することができる。一般に、監視エンジン４１０は、あくび、閉じた／垂れ下がった目／瞼などの顔の表情、及び／又は限定された／低減された集中／注意を有する乗員の状態を示す乗員の身体の姿勢に基づいて、障害の状態を検出することができる。

【0188】

[0202] 図７Ｇは、車両２０２を運転している乗員７５０の別の例示的な状態７１４を示す。この例では、状態７１４は、車両２０２を運転している間に乗員７５０が乗員７５０の膝に向かって見下ろすことを含む。監視エンジン４１０は、車両２０２を運転している間に乗員７５０が乗員７５０の膝に向かって見下ろしていると判定することができる。場合によっては、監視エンジン４１０は、運転中に乗員７５０の膝の方を見下ろすことが、乗員７５０が車両２０２を操作し、かつ／又は車両イベントに応答する能力を損なうこと判定することができる。例えば、監視エンジン４１０は、乗員７５０の膝に向かって見下ろすことが乗員７５０の気を逸らし、乗員７５０が道路及び外部環境を見て、車両２０２の運転に関連付けられた車両イベントを迅速に検出して応答すること妨げると判定することができる。一般に、監視エンジン４１０は、あくび、閉じた／垂れ下がった目／瞼などの顔の表情、及び／又は限定された／低減された集中／注意を有する乗員の状態を示す乗員の身体の姿勢に基づいて、障害の状態を検出することができる。

【0189】

[0203] 図７Ｈは、車両２０２を運転している乗員７５０の別の例示的な状態７１６を示す。この例では、状態７１６は、車両２０２を運転している間に、乗員７５０が車両２０２の運転者側窓の左側及び外側を見ていることを含む。監視エンジン４１０は、車両２０２を運転している間に、乗員７５０が車両２０２の運転者側窓の左側及び外側を見ていると判定することができる。場合によっては、車両２０２のコンテキストに応じて、監視エンジン４１０は、運転中に車両２０２の運転者側窓の左側及び外側を見ることが、乗員７５０が車両２０２を操作する及び／又は車両イベントに応答する能力を損なうと判定することができる。例えば、車両２０２のコンテキストに応じて、監視エンジン４１０は、車両２０２の運転者側窓の左側及び外側を見ることが乗員７５０の気を逸らし、乗員７５０が前方の道路及び／又は車両２０２の前方経路に沿った何かを見ることを妨げ、乗員７５０が車両２０２の前方経路に沿った車両イベントを検出して応答する能力を損なうと判定することができる。一般に、監視エンジン４１０は、前方の道路から離れた方向を見ている／集中しているなど、乗員の視線に基づいて障害の状態を検出することができる。

【0190】

[0204] 他の場合には、車両２０２のコンテキストに応じて、監視エンジン４１０は、運転中に車両２０２の運転者側窓の左側及び外側を見ることが、乗員７５０が車両２０２を操作する及び／又は車両イベントに応答する能力を損なわないと判定することができる。例えば、車両イベントが運転者側窓の外部で発生したことを車両２０２のコンテキストが示し、乗員７５０が車両イベントを認識し、かつ／又は車両イベントに応答すべきである場合、監視エンジン４１０は、車両２０２の運転者側窓の左側及び外側を見ることによって、乗員７５０が車両イベントを見て、車両イベントにどのように応答すべきか（又は応答すべきかどうか）を判断することができると判定することができる。したがって、監視エンジン４１０は、この例示的なコンテキストでは、運転中に車両２０２の運転者側窓の左側及び外側を見ている乗員７５０が適切であり、障害として分類又は処理されるべきではないと判定し得る。

【0191】

[0205] 図７Ｉは、車両２０２を運転している乗員７５０の別の例示的な状態７１８を示す。この例において、状態７１８は、車両２０２を運転している間にシートベルトが締められていない乗員７５０を含む。監視エンジン４１０は、車両２０２の運転中に乗員７５０がシートベルトを着用していないと判定することができる。場合によっては、監視エンジン４１０は、車両２０２の運転中にシートベルトが締められていないことが、乗員７５０及び他者（例えば、車両２０２の任意の他の乗客、及び他の車両の乗員、歩行者などの車両２０２の環境内の任意の他の人々）の安全に対するリスクを増加させる場合、障害であると判定することができる。他の場合には、監視エンジン４１０は、車両２０２を運転している間にシートベルトが締められていないことが、乗員７５０が車両２０２を運転する能力又は車両イベントに応答する能力を損なわない場合、障害ではないと判定することができる。

【0192】

[0206] 図８は、乗員監視イベントを含むＶ２Ｘ通信８００の例を示す図である。この例では、モバイルデバイス１５０は、車両２０２の乗員によって装着されるＨＭＤ又はＡＲメガネなどのウェアラブル拡張現実（ＡＲ）デバイスである。車両２０２の乗員はまた、スマート又はコネクテッドウォッチ、ヘルストラッカ／モニタデバイス、スマート又はコネクテッドブレスレットデバイス、ウェアラブル医療デバイス、又は任意の他のウェアラブルデバイスなどのウェアラブルデバイス８０２を装着している。

【0193】

[0207] モバイルデバイス１５０及び車両コンピューティングシステム２１０は、車両データ（例えば、車両コンテキスト情報、車両テンプレート、車両センサデータなど）、イベントデータ、及び／又は乗員データ（例えば、乗員状態情報、乗員センサ測定値、乗員健康測定値など）など、前述のようにデータを交換することができる。ウェアラブルデバイス８０２は、健康メトリクス、バイオメトリクス等の乗員に関する情報を追跡／測定することができるウェアラブルアプリケーション８０４を含むことができる。ウェアラブルデバイス８０２は、例えば、限定ではないが、酸素濃度計、皮膚センサ、光学心臓センサ、フォトプレチスモグラフィセンサ、電気心臓センサ、加速度計、ジャイロスコープ、心電図センサ、温度センサ、血圧センサ、ガルバニック皮膚反応センサ、脳波センサ、及び／又は任意の他のセンサ等の健康及び他のセンサを含むことができる。

【0194】

[0208] いくつかの例では、ウェアラブルデバイス８０２は、乗員監視を支援することができる（例えば、モバイルデバイス１５０のセンサモダリティに対して）追加の及び／又は冗長なセンサモダリティを有することができる。ウェアラブルデバイス８０２は、そのようなデータ（又は関連イベントのダイジェスト）をモバイルデバイス１５０に送信して、その乗員監視プロセスを支援することができる。いくつかの例では、ウェアラブルデバイス８０２は、例えば、慣性センサデータ、心拍数測定値、血圧測定値、ガルバニック皮膚反応測定値、ＥＣＧ／ＥＫＧ／ＥＥＧデータ、温度データ、酸素レベル、運動情報、睡眠追跡情報などのセンサデータをモバイルデバイス１５０に送信することができる。場合によっては、ウェアラブルデバイス８０２からのデータは、眠気、中毒、健康緊急事態、ストレス、高まった感情状態、意識喪失などの障害を示すことができ、かつ／又は（例えば、正例及び負例で訓練された機械学習分類器を介して）障害を判定するために使用することができる。

【0195】

[0209] ウェアラブルデバイス８０２のウェアラブルアプリケーション８０４は、ウェアラブルデバイス８０２上の１つ又は複数のセンサから健康測定値及び任意の他の測定値を取得することができる。ウェアラブルデバイス８０２は、任意の健康測定値をモバイルデバイス１５０に送信することができる。モバイルデバイス１５０は、健康測定値を使用して、乗員の状態を監視することができる。モバイルデバイス１５０は、健康測定値を単独で、又は監視エンジン４１０に関して前に説明した任意の測定値など、モバイルデバイス１５０からの他の測定値と組み合わせて使用することができる。いくつかの例では、モバイルデバイス１５０は、センサデータ融合を実行し、ウェアラブルデバイス８０２からの健康測定値と、モバイルデバイス１５０からの任意の乗員監視測定値及び／又はデータとの組み合わせを使用して、乗員の状態を判定することができる。モバイルデバイス１５０は、前述のように、監視エンジン４１０を使用して、乗員の状態を判定することができる。監視エンジン４１０は、モバイルデバイス１５０及び／又はウェアラブルデバイス８０２からのデータのいずれかを使用して、乗員の状態を判定することができる。

【0196】

[0210] 場合によっては、モバイルデバイス１５０は、判定された乗員の状態を車両コンピューティングシステム２１０に送信することができる。モバイルデバイス１５０は、追加又は代替として、前述のように、任意のイベントデータを車両コンピューティングシステム２１０に送信することができる。場合によっては、モバイルデバイス１５０は、判定された乗員の状態を、例えば、車両８１０（例えば、車両コンピューティングシステム８１２）、インフラストラクチャ８２０、及び／又は任意の他のデバイスなどの他のデバイスに送信することができる。インフラストラクチャ８２０は、例えば、限定するものではないが、信号機、交通カメラ、街灯、サイネージ、パーキングメータ、車線マーカ、１つ又は複数の緊急応答システム、それらの組み合わせ、及び／又は任意の他のインフラストラクチャシステム、デバイス、及び／又は構成要素など、任意のインフラストラクチャシステム、デバイス、及び／又は構成要素を含むことができる。場合によっては、車両コンピューティングシステム２１０は、判定された乗員の状態を、例えば、車両８１０（例えば、車両コンピューティングシステム８１２）、インフラストラクチャ８２０、及び／又は任意の他のデバイスなどの他のデバイスに送信／転送することができる。

【0197】

[0211] 場合によっては、車両コンピューティングシステム２１０はまた、１つ又は複数の画像センサ、慣性センサ、重量センサ、圧力センサ、オーディオセンサなどの車両２０２の１つ又は複数のセンサからのデータ、及び／又はモバイルデバイス１５０からのイベントデータ４２４を使用して、乗員の状態を（例えば、監視エンジン４０２を介して）判定することができる。例えば、場合によっては、車両コンピューティングシステム２１０は、モバイルデバイス１５０によって行われた乗員の状態の判定に加えて、乗員の状態を判定することができる。いくつかの例では、車両コンピューティングシステム２１０は、モバイルデバイス１５０、ウェアラブルデバイス８０２、及び／又は車両２０２の１つ又は複数のセンサからのセンサデータを使用して、乗員の状態を判定することができる。例えば、車両コンピューティングシステム２１０は、モバイルデバイス１５０、ウェアラブルデバイス８０２、及び／又は車両２０２の１つ又は複数のセンサからのセンサデータを融合して、乗員の状態を判定することができる。場合によっては、車両コンピューティングシステム２１０は、モバイルデバイス１５０から受信された乗員の状態を使用して、乗員の状態のそれ自体の判定を支援することができる。他の場合には、車両コンピューティングシステム２１０は、モバイルデバイス１５０及び／又はモバイルデバイス１５０からのセンサデータによって判定される乗員の状態なしに、乗員の状態を別個に判定することができる。

【0198】

[0212] 車両８１０の車両コンピューティングシステム２１０は、任意の車両データ及び／又は乗員データを、例えば車両２０２及び／又はインフラストラクチャ８２０などの他のデバイスに通信することができる。例えば、車両コンピューティングシステム２１０は、乗員の判定された状態を車両８１０及び／又はインフラストラクチャ８２０に送信することができる（例えば、モバイルデバイス１５０が乗員の状態を車両８１０及び／又はインフラストラクチャ８２０に送信することに加えて、又はその代わりに）。車両８１０及び／又はインフラストラクチャ８２０は、モバイルデバイス１５０及び／又は車両２０２から受信された乗員の任意の状態情報を使用して、状態情報が乗員の障害を示す場合に乗員に対する支援を求め、かつ／又は障害がある間に乗員によって操作される車両２０２との任意の事故又は衝突を防止するための任意のアクションを実行することができる。

【0199】

[0213] 例えば、車両２０２の車両コンピューティングシステム８１２の車両アプリケーション８１４は、車両８１０及び／又はモバイルデバイス１５０からのデータを使用して、車両２０２の動作／挙動を調整し、車両８１０との任意の事故又は衝突を回避することができる。場合によっては、車両２０２の車両コンピューティングシステム８１２の車両アプリケーション８１４は、車両８１０及び／又はモバイルデバイス１５０からのデータを使用して、車両２０２を回避し、かつ／又は車両８１０から少なくとも特定の距離を維持するように車両２０２の経路を変更することができる。車両コンピューティングシステム８１２は、図２と組み合わせて前述した車両コンピューティングシステム２１０と同一又は類似の構成要素を含むように構成することができる。

【0200】

[0214] 別の例として、インフラストラクチャ８２０のインフラストラクチャアプリケーション８２２は、車両２０２及び／又はモバイルデバイス１５０からのデータを使用して、インフラストラクチャ８２０の動作／挙動を調整することができる。例示すると、インフラストラクチャ８２０のインフラストラクチャアプリケーション８２２は、車両２０２及び／又はモバイルデバイス１５０からのデータを使用して、車両２０２の乗員の障害に基づいてインフラストラクチャ８２０に関連付けられた交通規制／信号を調整し、及び／又は車両２０２の乗員の障害を、法執行機関及び／又は他の緊急若しくは支援要員及び／又はシステムに報告することができる。

【0201】

[0215] いくつかの例では、車両コンピューティングシステム２１０はまた、他の情報を車両８１０及び／又はインフラストラクチャ８２０に送信することができる。例えば、車両コンピューティングシステム２１０は、車両２０２からのセンサデータ及び／又は車両２０２の判定されたコンテキストを車両８１０及び／又はインフラストラクチャ８２０に送信することができる。場合によっては、車両コンピューティングシステム２１０は、車両２０２の乗員に関する任意の状態情報に加えて、そのような情報を送信することができる。

【0202】

[0216] 図９は、車両２０２を運転する乗員によって装着されたモバイルデバイス１５０によって判定された乗員状態に基づく例示的な車両緩和イベントを示す図である。この例では、モバイルデバイス１５０は、車両２０２を運転している乗員が健康緊急事態によって損なわれていることを示す乗員状態９１０を（例えば、監視エンジン４１０を介して、場合によってはウェアラブルデバイス８０２からのデータに基づいて）判定している。モバイルデバイス１５０は、乗員状態９１０を車両２０２の車両コンピュータシステム（例えば、車両コンピューティングシステム２１０）に送信して、乗員が健康緊急事態によって損なわれていることを車両２０２に通知することができる。

【0203】

[0217] 車両２０２の車両コンピュータシステム（例えば、車両コンピューティングシステム２１０）は、車両２０２の動きの状態などの車両２０２の状態を記述する車両コンテキスト９１２を判定する。この例では、車両コンテキスト９１２は、車両２０２が時速１０マイル（ｍｐｈ）で西に移動しており、前方で車両イベントに遭遇したことを示す。この例における車両イベントは、車両２０２の経路に沿った障害物９０２である。

【0204】

[0218] モバイルデバイス１５０から取得された乗員状態９１０及び車両コンテキスト９１２に基づいて、車両２０２の車両コンピューティングシステムは（例えば、イベント緩和エンジン４０４などのイベント緩和エンジンを介して）アクション９１６をトリガすることができる。この例では、アクション９１６は、乗員が健康緊急事態によって損なわれている間に、車両２０２を制御するために車両２０２の自律車両を制御することを含む。いくつかの例では、車両２０２は、自律機能を使用して、乗員を目的地経路まで運転することができる。他の例では、車両２０２は、自律能力を使用して、車両２０２の経路を変更し、乗員を病院／診療所又は乗員が健康緊急事態のための治療を得ることができるロケーションに運転することができる。場合によっては、車両２０２はまた、乗員が健康の緊急事態を経験していることを示す、及び／又は健康緊急事態に対する支援を要求するメッセージ／通知を、健康緊急システムなどの遠隔システムに送信することができる。

【0205】

[0219] アクション９１６はまた、障害物９０２を回避するために操縦９０４を実行することを含む。車両２０２は、自律能力を使用して、障害物９０２を回避するために操縦９０４を実行することができる。この例では、操縦９０４は、障害物９０２の前の道路上で左折することを含む。

【0206】

[0220] 図９に示される障害物９０２、操縦９０４、乗員状態９１０、車両コンテキスト９１２、及びアクション９１６は、説明のために提供される単なる例示的な例である。他の例は、同じ又は異なる及び／又は追加の障害物、操縦、乗員状態、車両コンテキスト、アクションなどを含むことができる。

【0207】

[0221] いくつかの例では、車両コンテキストは、車両の動作／運転に関する情報を含むことができる。イベント又は車両イベントは、車両安全性、車両安全性イベント／条件などに関連する情報を含むことができる。乗員の状態は、乗員の一時的な注意散漫又は健康状態を含み得る、及び／又は乗員の一時的な注意散漫又は健康状態に関連し得る。

【0208】

[0222] 図１０は、車両２０２を運転する乗員によって装着されたモバイルデバイス１５０によって判定された乗員状態に基づく別の例示的な車両緩和イベントを示す図である。この例では、モバイルデバイス１５０は、車両２０２を運転している乗員が注意を逸らしていることを示す乗員状態１００２を（例えば、監視エンジン４１０を介して）判定している。モバイルデバイス１５０は、乗員が注意を逸らしていることを車両２０２に通知するために、車両２０２の車両コンピュータシステム（例えば、車両コンピューティングシステム２１０）に乗員状態１００２を送信することができる。

【0209】

[0223] 車両２０２は、（例えば、監視エンジン４０２などの監視エンジンを介して）車両２０２が、車両２０２が走行している道路１０１０の中央車線１０１２又は車線分割部を横断していることを検出することができる。乗員が注意を逸らしていることを示す乗員状態１００２と、車両２０２が道路１０１０の中央車線１０１２を横断しているという判定とに基づいて、時間Ｔ_１において、車両２０２は、注意を逸らしている乗員を支援するためのアクション１００４を（例えば、イベント緩和エンジン４０４などのイベント緩和エンジンを介して）トリガすることができる。この例では、アクション１００４は、車両２０２の車線維持支援機能を作動させて、車両２０２をその車線１０２０内に維持し、車両２０２が別の車線１０２２に交差するのを回避するための是正措置を行うことを含む。

【0210】

[0224] 時間Ｔ_２において、車両２０２が車線維持支援機能に関与し、是正措置を取った後、車両２０２は、ここでその車線１０２０内を走行している。図１０に示されるように、乗員状態１００６はまた、時間Ｔ_２において車両の乗員が正常な状態にある（例えば、障害がない）ことを示す。車両２０２は、乗員が自律支援あり又はなしで車両２０２を運転することを可能にすることができ、１つ又は複数の自律運転動作を実施し続けることができ、又は車両２０２を手動で（完全に又は部分的に）制御するかどうかを選択するオプションを乗員に提供して、車両２０２が自律的に動作することを可能にすることなどができる。

【0211】

[0225] 図１１は、車両の動作中に仮想コンテンツの提示を制御するための例示的プロセス１１００を示すフローチャートである。ブロック１１０２において、プロセス１１００は、車両（例えば、車両２０２）の内部の１つ又は複数の画像に基づいて、車両の座標系に対するモバイルデバイス（例えば、モバイルデバイス１５０）の姿勢を判定することを含むことができる。

【0212】

[0226] ブロック１１０４において、プロセス１１００は、車両から、車両の１つ又は複数のセンサに関連付けられたデータを受信することを含むことができる。

【0213】

[0227] ブロック１１０６において、プロセス１１００は、モバイルデバイスのディスプレイデバイスを使用して、１つ又は複数のセンサに関連付けられたデータと、車両の座標系に対するモバイルデバイスの姿勢とに基づいて仮想コンテンツを表示することを含むことができる。

【0214】

[0228] いくつかの態様では、プロセス１１００は、１つ又は複数のセンサに関連付けられたデータに基づいて車両のコンテキストを判定することを含むことができる。いくつかの例では、コンテキストは、車両に関連するイベントを含むことができる。

【0215】

[0229] いくつかの態様では、プロセス１１００は、モバイルデバイスの座標系に対する仮想コンテンツのロケーションを、車両の座標系に対するイベントのロケーションに関連付けることと、モバイルデバイスの座標系に対する仮想コンテンツのロケーションと車両の座標系に対するイベントのロケーションとの関連付けに基づいて、モバイルデバイスの１つ又は複数の視覚画像センサからのライブコンテンツフィードを表示することと、を含むことができる。

【0216】

[0230] いくつかの例では、ライブコンテンツフィードを表示することは、車両の座標系に対するモバイルデバイスの姿勢と、イベントに対する車両の姿勢とに基づいて、イベントに対するモバイルデバイスの姿勢を判定することと、イベントに対するモバイルデバイスの姿勢と、モバイルデバイスの座標系に対する仮想コンテンツのロケーションと車両の座標系に対するイベントのロケーションとの関連付けとに基づいて、仮想コンテンツが、車両の乗員の視野内でイベントを少なくとも部分的に遮蔽することを判定することと、を含むことができる。

【0217】

[0231] いくつかの態様では、プロセス１１００は、モバイルデバイスの座標系に対する仮想コンテンツアイテムのロケーションを、車両の座標系に対するイベントのロケーションに関連付けることと、モバイルデバイスの座標系に対する仮想コンテンツのロケーションと車両の座標系に対するイベントのロケーションとの関連付けに基づいて、仮想コンテンツアイテムをフィルタリング又は修正することとを含むことができる。

【0218】

[0232] いくつかの例では、仮想コンテンツアイテムをフィルタリング又は修正することは、仮想コンテンツアイテムの１つ又は複数の特性を修正することを含むことができる。場合によっては、１つ又は複数の特性は、透明度、サイズ、仮想コンテンツアイテムのロケーション、及び仮想コンテンツアイテムの輝度レベルのうちの少なくとも１つを含むことができる。

【0219】

[0233] いくつかの例では、仮想コンテンツアイテムをフィルタリング又は修正することは、車両の乗員の視線を判定することであって、乗員はモバイルデバイスに関連付けられている、ことと、乗員の視線及びイベントのロケーションに基づいて、乗員に対するイベントの可視性を判定することと、乗員に対するイベントの可視性に更に基づいて、仮想コンテンツアイテムをフィルタリング又は修正することとを含むことができる。

【0220】

[0234] いくつかの例では、イベントが、車両の経路内のオブジェクトの存在又は車両の経路への閾値近接度、車両の経路に関連付けられた交通規制、並びに車両が速度制限及び車線区分線のうちの少なくとも１つ内に留まらなかったこと、のうちの少なくとも１つを含むことができる。場合によっては、車両の経路内のオブジェクト又は車両の経路に対する閾値近接度が、歩行者、動物、及び別の車両のうちの少なくとも１つを含む。

【0221】

[0235] いくつかの態様では、プロセス１１００は、車両の乗員の視線を判定することであって、乗員はモバイルデバイスに関連付けられている、ことと、車両の乗員の視線の方向内に仮想コンテンツをレンダリングすることと、を含むことができる。

【0222】

[0236] 場合によっては、乗員の視線の方向内に仮想コンテンツをレンダリングすることは、イベント、イベントのロケーション、及びイベントの方向のうちの少なくとも１つの仮想インジケータを備える仮想コンテンツオーバーレイをレンダリングすることを含むことができる。

【0223】

[0237] 場合によっては、乗員の視線の方向内に仮想コンテンツをレンダリングすることは、仮想コンテンツの１つ又は複数の特性を修正することを含むことができる。場合によっては、１つ又は複数の特性は、透明度、サイズ、仮想コンテンツのロケーション、及び輝度レベルのうちの少なくとも１つを含むことができる。

【0224】

[0238] いくつかの態様では、プロセス１１００は、車両のコンテキスト及びモバイルデバイスの姿勢に基づいて、仮想コンテンツの少なくとも一部をフィルタリングすることを含むことができる。

【0225】

[0239] 場合によっては、仮想コンテンツの少なくとも一部をフィルタリングすることは、仮想コンテンツのサブセットの提示を可能にすることを含むことができる。いくつかの例では、仮想コンテンツのサブセットは、車両の状況の指標及び車両計装情報のうちの少なくとも１つを含むことができる。

【0226】

[0240] いくつかの態様では、仮想コンテンツを表示することは、車両に関連付けられた仮想コンテンツアイテムをレンダリングすることを含み得、仮想コンテンツアイテムは、車両の表面に対してレンダリングされる。

【0227】

[0241] 場合によっては、レンダリングされた仮想コンテンツアイテムは、１つ又は複数のセンサに関連付けられたデータにおいて識別されたイベントの第１の指標、車両のコンテキストの第２の指標、及び車両のコンテキストに関連付けられた警報のうちの少なくとも１つを含むことができる。

【0228】

[0242] いくつかの態様では、仮想コンテンツアイテムをレンダリングすることは、車両のカメラデバイスからカメラフィードを受信することと、カメラフィードの少なくとも一部をモバイルデバイスの表示領域内に表示することとを含むことができる。

【0229】

[0243] 場合によっては、モバイルデバイスの姿勢を判定することは、１つ又は複数の無線周波数（ＲＦ）信号を取得することと、１つ又は複数の画像と、１つ又は複数のＲＦ信号に関連付けられたラウンドトリップ時間、１つ又は複数のＲＦ信号に関連付けられた到着時間、及び１つ又は複数のＲＦ信号に関連付けられた受信信号強度インジケータ（ＲＳＳＩ）のうちの少なくとも１つとに基づいて、モバイルデバイスの姿勢を判定することと、を含むことができる。

【0230】

[0244] 場合によっては、モバイルデバイスの姿勢を判定することは、車両から、車両に関連付けられた１つ又は複数のマーカを含む車両テンプレートを受信することと、１つ又は複数の画像及び車両テンプレートに基づいて、車両の座標系に対するモバイルデバイスの姿勢を判定することとを含むことができる。

【0231】

[0245] いくつかの例では、１つ又は複数のマーカは、車両の内部内のエリア及び車両の内部に取り付けられたオブジェクトのうちの少なくとも一方の視覚パターン、車両の内部の要素、車両の内部内の表面、並びに車両の内側の照明されたオブジェクトのうちの少なくとも１つを含むことができる。

【0232】

[0246] 場合によっては、モバイルデバイスの姿勢を判定することは、１つ又は複数の画像内の１つ又は複数のマーカを検出することと、検出された１つ又は複数のマーカ及び車両テンプレートに基づいて、車両の座標系に対するモバイルデバイスの姿勢を判定することと、を含むことができる。

【0233】

[0247] いくつかの態様では、プロセス１１００は、モバイルデバイスの１つ又は複数の画像センサを使用して、車両の内部の画像のセットを取得することであって、画像のセットが、車両に関連付けられた１つ又は複数のマーカを描写する、ことと、画像のセットに基づいて、１つ又は複数のマーカを含む車両テンプレートを生成することと、を含むことができる。

【0234】

[0248] 図１２は、車両の乗員を監視するための例示的なプロセス１２００を示すフローチャートである。ブロック１２０２において、プロセス１２００は、本方法は、車両の内部の１つ又は複数の画像に基づいて、車両の座標系に対するモバイルデバイスの姿勢を判定することを含むことができる。場合によっては、障害は、車両の動作及び車両に関連付けられたイベントのうちの少なくとも１つに関する注意散漫状態、中毒状態、健康状態、覚醒状態、検出された感情状態、車両を制御するための障害位置、及び障害視界のうちの少なくとも１つを含むことができる。

【0235】

[0249] ブロック１２０４において、プロセス１２００は、車両の乗員の状態を判定することを含むことができる。いくつかの例では、乗員の状態は、車両を操作することに関する乗員の障害を含むことができる。

【0236】

[0250] ブロック１２０６において、プロセス１２００は、乗員の状態及び車両の座標系に対するモバイルの姿勢を示すデータを車両に送信することを含むことができる。

【0237】

[0251] いくつかの例では、乗員の状態を判定することは、車両から、車両の１つ又は複数のセンサに関連付けられたデータを受信することと、車両の１つ又は複数のセンサに関連付けられたデータ及びモバイルデバイスの姿勢に基づいて、乗員の状態を判定することとを含むことができる。

【0238】

[0252] 場合によっては、車両の１つ又は複数のセンサに関連付けられたデータは、車両の状態及び車両に関連付けられたイベントのうちの少なくとも１つを示す。

【0239】

[0253] 場合によっては、車両に関連付けられたイベントが、車両の経路内のオブジェクトの存在又は車両の経路への閾値近接度、車両の経路に関連付けられた交通規制、並びに車両が速度制限及び車線区分線のうちの少なくとも１つ内に留まらなかったこと、のうちの少なくとも１つを含むことができる。

【0240】

[0254] いくつかの例では、車両の経路内のオブジェクト又は車両の経路に対する閾値近接度が、歩行者、動物、及び別の車両のうちの少なくとも１つを含み得る。

【0241】

[0255] 場合によっては、乗員の障害は、車両を安全に操作する乗員の能力に悪影響を与える任意のイベント、活動、注意散漫、状態、属性、挙動、及び／又は条件を含む。

【0242】

[0256] いくつかの態様では、プロセス１２００は、車両の乗員の視線を判定することを含むことができる。場合によっては、乗員の状態は、乗員の視線を含むことができ、乗員は、モバイルデバイスに関連付けられ得る。例えば、乗員は、モバイルデバイスを装着しているユーザであり得る。

【0243】

[0257] 場合によっては、乗員の状態を判定することは、モバイルデバイス及び乗員によって装着されるウェアラブルデバイスのうちの少なくとも１つに関連付けられた１つ又は複数のセンサから、乗員に関連付けられた１つ又は複数の健康測定値を受信することと、１つ又は複数の健康測定値に基づいて乗員の状態を判定することとを含むことができる。

【0244】

[0258] いくつかの例では、１つ又は複数の健康測定値は、心拍数、血圧、体温、ガルバニック皮膚反応、乗員の心臓からの電気信号の測定値、乗員の脳の電気活動の測定値、目の赤みの量、及び瞳孔サイズのうちの少なくとも１つを含むことができる。

【0245】

[0259] 場合によっては、乗員の状態を判定することは、乗員の視線が、ある期間にわたって車両の前方の道路から離れて集中していることを判定することと、乗員の視線が、ある期間にわたって車両の前方の道路から離れて集中していることと、期間が閾値期間を超えるという判定とに基づいて、乗員の障害状態を判定することとを含むことができる。

【0246】

[0260] いくつかの例では、乗員の視線が一定期間にわたって車両の前方の道路から離れて集中していると判定することは、乗員の視線が一定期間の少なくとも一部にわたってモバイルデバイスによってレンダリングされた仮想コンテンツに集中していると判定することを含むことができる。

【0247】

[0261] 場合によっては、乗員の視線が一定期間車両の前方の道路から離れて集中していると判定することは、乗員の視線が車両の経路内の障害物の方向又は車両の経路に対する閾値近接度とは異なる方向に集中していると判定することを含むことができる。

【0248】

[0262] いくつかの態様では、プロセス１２００は、乗員の状態の指標を、第２の車両、車両インフラストラクチャシステム、第２の車両の第２の乗員に関連付けられた第１のリモートデバイス、及び歩行者に関連付けられた第２のリモートデバイスのうちの少なくとも１つに送信することを含むことができる。

【0249】

[0263] 場合によっては、乗員の状態を判定することは、モバイルデバイスを装着している乗員の視線を判定することと、モバイルデバイスの姿勢及び乗員の視線に基づいて乗員の状態を判定することとを含むことができる。

【0250】

[0264] 場合によっては、モバイルデバイスの姿勢を判定することは、車両から、車両に関連付けられた１つ又は複数のマーカを含む車両テンプレートを受信することと、１つ又は複数の画像及び車両テンプレートに基づいて、車両の座標系に対するモバイルデバイスの姿勢を判定することとを含むことができる。

【0251】

[0265] 場合によっては、１つ又は複数のマーカは、車両の内部内のエリア及び車両の内部に取り付けられたオブジェクトのうちの少なくとも一方の視覚パターン、車両の内部の要素、車両の内部内の表面、並びに車両の内側の照明されたオブジェクトのうちの少なくとも１つを含むことができる。

【0252】

[0266] 場合によっては、１つ又は複数の画像が１つ又は複数のマーカを描写し、モバイルデバイスの姿勢を判定することは、１つ又は複数の画像内の１つ又は複数のマーカを検出することと、検出された１つ又は複数のマーカ及び車両テンプレートに基づいて、車両の座標系に対するモバイルデバイスの姿勢を判定することと、を含むことができる。

【0253】

[0267] いくつかの態様では、プロセス１２００は、モバイルデバイスの１つ又は複数の画像センサを使用して、車両の内部の画像のセットを取得することであって、画像のセットが、車両に関連付けられた１つ又は複数の視覚ランドマークを描写する、ことと、画像のセットに基づいて、車両テンプレートを生成することであって、車両テンプレートが、１つ又は複数のマーカを含むことと、を更に含むことができる。

【0254】

[0268] 場合によっては、モバイルデバイスの姿勢を判定することは、モバイルデバイスに関連付けられた慣性センサデータを取得することと、１つ又は複数の画像及び慣性センサデータに基づいてモバイルデバイスの姿勢を判定することとを含むことができる。

【0255】

[0269] 図１３は、車両の動作を制御する例示的なプロセス１３００を示すフローチャートである。ブロック１３０２において、プロセス１３００は、車両の乗員に関連付けられたモバイルデバイスから、車両の座標系に対する乗員の姿勢を受信することを含むことができる。ブロック１３０４において、プロセス１３００は、車両の座標系に対する乗員の姿勢に基づいて、車両の１つ又は複数の機能を制御することを含むことができる。

【0256】

[0270] いくつかの例では、車両の１つ又は複数の機能を制御することは、車両の１つ又は複数の車両機能に関与することを含むことができる。いくつかの例では、１つ又は複数の車両機能は、オートパイロット機能、トラクション制御機能、クルーズコントロール機能、衝突回避機能、車線逸脱機能、車線中心化機能、ブレーキ支援機能、車線維持機能、高速道路支援機能、車線変更支援機能、速度適応機能、及び交差点支援機能のうちの少なくとも１つを含むことができる。

【0257】

[0271] いくつかの例では、車両の１つ又は複数の機能を制御することは、車両の１つ又は複数の自律車両システムを制御又は係合することを含むことができる。いくつかの例では、１つ又は複数の自律車両システムは、死角監視システム、運転者監視システム、制動システム、自律運転制御システム、運転者支援システム、ナビゲーションシステム、ステアリング制御システム、車両通信システム、及び自動車ヘッドアップディスプレイのうちの少なくとも１つを含むことができる。

【0258】

[0272] いくつかの態様では、プロセス１３００は、車両の１つ又は複数のセンサに関連付けられたデータを、モバイルデバイス、第２の車両、車両インフラストラクチャシステム、第２の車両の第２の乗員に関連付けられた第１のリモートデバイス、及び歩行者に関連付けられた第２のリモートデバイスのうちの少なくとも１つに送信することを含み得る。

【0259】

[0273] いくつかの態様では、プロセス１３００は、乗員の状態を示すデータを、第２の車両、車両インフラストラクチャシステム、第２の車両の第２の乗員に関連付けられた第１のリモートデバイス、及び歩行者に関連付けられた第２のリモートデバイスのうちの少なくとも１つに送信することを含むことができる。

【0260】

[0274] いくつかの態様では、プロセス１３００は、車両の座標系に対する乗員の姿勢を判定するための車両テンプレートをモバイルデバイスに送信することを含むことができ、車両テンプレートは、車両に関連付けられた１つ又は複数のマーカを含む。

【0261】

[0275] いくつかの例では、１つ又は複数のマーカは、車両の内部内のエリア及び車両の内部に取り付けられたオブジェクトのうちの少なくとも一方の視覚パターン、車両の内部の要素、車両の内部内の表面、並びに車両の内側の照明されたオブジェクトのうちの少なくとも１つを含むことができる。

【0262】

[0276] いくつかの態様では、プロセス１３００は、車両の座標系に対する乗員の姿勢に少なくとも部分的に基づいて出力を生成することを含むことができる。いくつかの例では、出力は、モバイルデバイスへの通信、車両の１つ又は複数の機能を修正する命令、及び乗員の状態の指標のうちの少なくとも１つを含むことができる。

【0263】

[0277] 場合によっては、モバイルデバイスへの通信は、仮想コンテンツアイテム及び仮想コンテンツアイテムを表示する要求のうちの少なくとも１つを含むことができる。

【0264】

[0278] いくつかの態様では、プロセス１３００は、モバイルデバイスから、車両の乗員の状態を示すデータを受信することを含むことができる。場合によっては、データは、モバイルデバイスの１つ又は複数のセンサからのセンサデータと、モバイルデバイスの１つ又は複数のセンサからのセンサデータに基づいて生成された処理されたデータとのうちの少なくとも１つを含むことができる。

【0265】

[0279] 場合によっては、処理されたデータは、乗員の状態の記述及び乗員の状態を識別する分類出力のうちの少なくとも１つを含むことができる。

【0266】

[0280] いくつかの態様では、プロセス１３００は、モバイルデバイスから、車両の乗員の状態を示すデータを受信することを含むことができる。場合によっては、データは、乗員の視線の指標、車両の座標系に対する方法の姿勢、及び乗員に関連付けられた１つ又は複数の健康測定値のうちの少なくとも１つを含むことができる。

【0267】

[0281] 場合によっては、１つ又は複数の健康測定値は、心拍数、血圧、体温、ガルバニック皮膚反応、乗員の心臓からの電気信号の測定値、乗員の脳の電気活動の測定値、目の赤みの量、及び瞳孔サイズのうちの少なくとも１つを含むことができる。

【0268】

[0282] いくつかの態様では、プロセス１３００は、車両の１つ又は複数のセンサから、車両の動作に関連するイベントの指標、乗員によって少なくとも部分的に制御される車両の１つ又は複数の動作中の１つ又は複数の運転パターンの指標、及び車両計装データのうちの少なくとも１つを含むセンサデータを取得することを含むことができる。場合によっては、プロセス１３００は、センサデータに更に基づいて車両の１つ又は複数の機能を制御することを含むことができる。

【0269】

[0283] いくつかの態様では、プロセス１３００は、乗員の状態を判定することを含むことができる。場合によっては、乗員の状態を判定することは、モバイルデバイス及びウェアラブルデバイスのうちの少なくとも１つに関連付けられた１つ又は複数の健康センサから、乗員に関連付けられた１つ又は複数の健康測定値を受信することと、乗員に関連付けられた１つ又は複数の健康測定値に基づいて乗員の状態を判定することとを含むことができる。

【0270】

[0284] いくつかの態様では、プロセス１３００は、乗員の状態を取得することを含むことができる。いくつかの例では、乗員の状態は、車両を操作することに関する乗員の障害を含むことができる。いくつかの例では、乗員の障害は、乗員の一時的な障害を含むことができる。場合によっては、障害は、車両の動作及び車両に関連付けられたイベントのうちの少なくとも１つに関する注意散漫状態、中毒状態、健康状態、覚醒状態、検出された感情状態、車両を制御するための障害位置、及び障害視界のうちの少なくとも１つを含むことができる。場合によっては、乗員の障害は、車両を安全に操作する乗員の能力に悪影響を与える任意のイベント、活動、注意散漫、状態、属性、挙動、及び／又は条件を含む。

【0271】

[0285] いくつかの例では、イベントが、車両の経路内のオブジェクトの存在又は車両の経路への閾値近接度、車両の経路に関連付けられた交通規制、並びに車両が速度制限及び車線区分線のうちの少なくとも１つ内に留まらなかったこと、のうちの少なくとも１つを含むことができる。いくつかの例では、オブジェクトは、歩行者、動物、及び別の車両のうちの少なくとも１つを含むことができる。

【0272】

[0286] いくつかの態様では、プロセス１３００は、車両の内部の１つ又は複数の画像を取得することであって、１つ又は複数の画像が、車両に関連付けられた１つ又は複数の視覚ランドマークを描写する、ことと、１つ又は複数の画像に基づいて車両テンプレートを生成することであって、車両テンプレートが、１つ又は複数の視覚ランドマークを記述する、こととを含むことができる。

【0273】

[0287] いくつかの態様では、プロセス１３００は、車両テンプレートをモバイルデバイスに送信することと、モバイルデバイスから、車両テンプレートにおいて定義された１つ又は複数の座標に対する乗員の姿勢を受信することとを含むことができる。いくつかの例では、１つ又は複数の座標は、１つ又は複数の視覚ランドマークに対するものであり、車両の座標系に対応する。

【0274】

[0288] いくつかの態様では、プロセス１３００は、モバイルデバイスから、乗員の状態を示すデータを受信することを含むことができる。場合によっては、車両の１つ又は複数の機能を制御することは、乗員の姿勢及び乗員の状態を示すデータに基づいて車両の１つ又は複数の機能を制御することを含むことができる。

【0275】

[0289] いくつかの態様では、プロセス１３００は、車両の座標系に対する乗員の姿勢に少なくとも部分的に基づいて出力を生成することを含むことができる。いくつかの例では、出力は、車両の１つ又は複数の機能を修正するための命令及び乗員の更新された状態のうちの少なくとも１つを含むことができる。

【0276】

[0290] いくつかの例では、車両の１つ又は複数の機能は、車両の１つ又は複数の機能及び車両の１つ又は複数の自律車両システムのうちの少なくとも１つを制御するように構成された車両のコンピュータシステムを介して制御され得る。

【0277】

[0291] 図１４は、車両を車両の乗員に関連付けられたモバイルデバイスとインターフェースするための例示的なプロセス１３００を示すフローチャートである。ブロック１４０２において、プロセス１４００は、車両のコンピュータシステムに接続された拡張現実（ＡＲ）デバイスから要求を受信することを含むことができる。いくつかの実施例では、要求は、例えば、車両の１つ又は複数のセンサからのデータ等、車両によって生成及び／又は取得されたデータを要求することができる。

【0278】

[0292] ブロック１４０４において、プロセス１４００は、要求に応答して、車両の１つ又は複数のセンサに関連付けられたデータをＡＲデバイスに送信することを含むことができる。いくつかの例では、データは、車両のコンテキストを示す車両データを含むことができる。いくつかの例では、車両のコンテキストは、車両の状態、及び車両が遭遇した、又は車両の１つ又は複数の動作中に発生すると判定された１つ又は複数のイベントのうちの少なくとも１つを含むことができる。

【0279】

[0293] いくつかの例では、１つ又は複数のイベントが、車両の経路内のオブジェクトの存在又は車両の経路への閾値近接度、車両の経路に関連付けられた交通規制、並びに車両が速度制限及び車線区分線のうちの少なくとも１つ内に留まらなかったこと、のうちの少なくとも１つを含むことができる。場合によっては、車両の経路内のオブジェクト又は車両の経路に対する閾値近接度が、歩行者、動物、及び別の車両のうちの少なくとも１つを含み得る。

【0280】

[0294] いくつかの態様では、プロセス１４００は、ＡＲデバイスに、車両の座標系に対するＡＲデバイスの姿勢及び１つ又は複数のイベントのそれぞれのロケーションのうちの少なくとも１つに対するロケーションにおける提示のための表示データを送ることを含むことができる。いくつかの例では、表示データは、車両データの少なくとも一部を含むことができる。

【0281】

[0295] いくつかの態様では、プロセス１４００は、ＡＲデバイスに、１つ又は複数のイベントのそれぞれのロケーションの指標を送ることを含むことができる。いくつかの態様では、プロセス１４００は、車両の座標系に対するＡＲデバイスの姿勢を判定するための車両テンプレートをＡＲデバイスに送信することを含むことができる。いくつかの例では、車両テンプレートは、車両の内部における１つ又は複数のマーカを記述することができる。

【0282】

[0296] いくつかの例では、１つ又は複数のマーカは、車両の内部内のエリア及び車両の内部に取り付けられたオブジェクトのうちの少なくとも一方の視覚パターン、車両の内部の要素、車両の内部内の表面、並びに車両の内側の照明されたオブジェクトのうちの少なくとも１つを含むことができる。

【0283】

[0297] いくつかの態様では、プロセス１４００は、ＡＲデバイスから、車両の座標系に対するＡＲデバイスの姿勢を受信することを含むことができる。

【0284】

[0298] いくつかの態様では、プロセス１４００は、１つ又は複数のセンサに関連付けられたデータ及び車両の座標系に対するＡＲデバイスの姿勢のうちの少なくとも１つに基づいて、車両に関連付けられた仮想コンテンツのコンピュータシステムによる提示を制御することを含むことができる。場合によっては、仮想コンテンツの提示を制御することは、車両の座標系に対するＡＲデバイスの姿勢に基づいて、車両の１つ又は複数の画像センサからのライブコンテンツフィードをＡＲデバイスに提供することを含むことができる。

【0285】

[0299] 場合によっては、ライブコンテンツフィードを提供することは、車両の座標系に対するＡＲデバイスの姿勢及び車両イベントに対する車両の位置に基づいて、車両イベントに対するＡＲデバイスの姿勢を判定することと、車両イベントに対するＡＲデバイスの姿勢に基づいて、コンピュータシステム及びＡＲデバイスのうちの少なくとも１つに関連付けられた仮想コンテンツが、ＡＲデバイスの視野内で車両イベントを少なくとも部分的に遮ることを判定することとを含むことができる。

【0286】

[0300] いくつかの例では、仮想コンテンツの提示を制御することは、コンピュータシステムによってレンダリングされた仮想コンテンツアイテムのロケーションを車両の座標系に対する車両イベントのロケーションに関連付けることと、車両の座標系に対する仮想コンテンツのロケーションと車両イベントのロケーションとの関連付けに基づいて仮想コンテンツアイテムをフィルタリング又は修正することとを含むことができる。

【0287】

[0301] 場合によっては、仮想コンテンツアイテムをフィルタリング又は修正することは、仮想コンテンツアイテムの１つ又は複数の特性を修正することを含むことができる。いくつかの例では、１つ又は複数の特性は、透明度、サイズ、仮想コンテンツアイテムのロケーション、及び輝度レベルのうちの少なくとも１つを含むことができる。

【0288】

[0302] いくつかの例では、仮想コンテンツアイテムをフィルタリング又は修正することは、車両の乗員の視線を受信することと、乗員の視線及び車両イベントのロケーションに基づいて、乗員に対する車両イベントの可視性を判定することと、乗員に対する車両イベントの可視性に更に基づいて、仮想コンテンツアイテムをフィルタリング又は修正することと、を含むことができる。

【0289】

[0303] 場合によっては、仮想コンテンツの提示を制御することは、車両の乗員の視線を受信することと、車両の乗員の視線の方向内に仮想コンテンツをレンダリングすることとを含むことができる。

【0290】

[0304] いくつかの例では、仮想コンテンツをレンダリングすることは、車両イベント、車両イベントのロケーション、及び車両イベントの方向のうちの少なくとも１つの仮想インジケータを備える仮想コンテンツオーバーレイをレンダリングすることを含むことができる。

【0291】

[0305] 場合によっては、仮想コンテンツをレンダリングすることは、仮想コンテンツの１つ又は複数の特性を修正することを含むことができる。いくつかの例では、１つ又は複数の特性は、透明度、サイズ、仮想コンテンツのロケーション、及び輝度レベルのうちの少なくとも１つを含むことができる。

【0292】

[0306] いくつかの態様では、プロセス１４００は、１つ又は複数のディスプレイデバイスに、車両の動作に関する情報を提供する仮想コンテンツアイテムを表示する命令を送信することを含むことができる。場合によっては、命令は、乗員の視野内にある車両内のロケーションに対する仮想コンテンツアイテムの配置を示すことができる。

【0293】

[0307] いくつかの例では、仮想コンテンツアイテムは、コンピュータシステムによって検出された車両イベントの第１の指標、車両のコンテキストの第２の指標、及び車両のコンテキストに関連付けられた警報のうちの少なくとも１つを含むことができる。

【0294】

[0308] いくつかの態様では、プロセス１４００は、車両上のカメラデバイスからカメラフィードを受信することと、表示のためにカメラフィードの少なくとも一部をＡＲデバイスに送信することとを含むことができる。

【0295】

[0309] いくつかの態様では、プロセス１４００は、乗員の状態の指標をＡＲデバイスに送信することを含むことができる。いくつかの例では、乗員の状態は、車両を操作することに関する乗員の一時的な障害を含むことができる。場合によっては、一時的な障害は、車両の動作及び車両に関連付けられたイベントのうちの少なくとも１つに関する注意散漫状態、中毒状態、健康状態、覚醒状態、検出された感情状態、車両を制御するための障害位置、及び障害視界のうちの少なくとも１つを含むことができる。

【0296】

[0310] いくつかの態様では、プロセス１４００は、乗員の障害に基づいて車両の動作を制御することを含むことができる。いくつかの例では、乗員の障害は、車両を安全に操作する乗員の能力に悪影響を与える任意のイベント、活動、注意散漫、状態、属性、挙動、及び／又は条件を含む。

【0297】

[0311] いくつかの態様では、プロセス１４００は、乗員の障害に基づいて表示データを生成することを含むことができる。いくつかの例では、表示データは、車両イベント及び車両計装データのうちの少なくとも１つを含むことができる。

【0298】

[0312] いくつかの態様では、プロセス１４００は、乗員の障害に基づいて、表示データをＡＲデバイスに送信することを含むことができる。いくつかの例では、表示データは、車両イベント及び車両計装データのうちの少なくとも１つを含むことができる。

【0299】

[0313] いくつかの例では、コンピュータシステムは、車両の１つ又は複数の自律機能及び車両の１つ又は複数の自律車両システムのうちの少なくとも１つを制御するように構成される。

【0300】

[0314] いくつかの例では、ＡＲデバイスは、ヘッドマウントディスプレイを含むことができる。いくつかの例では、ＡＲデバイスはウェアラブルＡＲデバイスを含むことができる。

【0301】

[0315] いくつかの例では、プロセス１１００、１２００、１３００、及び／又は１４００のいずれかは、１つ又は複数のコンピューティングデバイス又は装置によって実行されてもよい。例示的な一実施例では、プロセス１１００、１２００、１３００、及び／又は１４００のいずれも、図１に示されるモバイルデバイス１５０及び／又は図２に示される車両２０２（及び／又は車両コンピューティングシステム２１０）によって実行することができる。いくつかの例では、プロセス１１００、１２００、１３００、及び／又は１４００のいずれかは、図１５に示すコンピューティングデバイスアーキテクチャ１５００を有する１つ又は複数のコンピューティングデバイスによって実行することができる。場合によっては、そのようなコンピューティングデバイス又は装置は、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、又はプロセス１１００、１２００、１３００、及び／又は１４００のうちのいずれかのステップを実行するように構成されたデバイスの他の構成要素を含んでもよい。いくつかの例では、そのようなコンピューティングデバイス又は装置は、画像データ及び／又は他のセンサ測定値を捕捉するように構成された１つ又は複数のセンサを含み得る。例えば、コンピューティングデバイスは、スマートフォン、ヘッドマウントディスプレイ、モバイルデバイス、又は他の好適なデバイスを含むことができる。いくつかの例では、そのようなコンピューティングデバイス又は装置は、１つ又は複数の画像又はビデオを捕捉するように構成されたカメラを含んでもよい。場合によっては、そのようなコンピューティングデバイスは、画像を表示するためのディスプレイを含んでもよい。いくつかの例では、１つ又は複数のセンサ及び／又はカメラは、コンピューティングデバイスから分離され、その場合、コンピューティングデバイスは感知されたデータを受信する。そのようなコンピューティングデバイスは、データを通信するように構成されたネットワークインターフェースを更に含んでもよい。

【0302】

[0316] コンピューティングデバイスの構成要素は、回路構成の中に実装され得る。例えば、構成要素は、１つ又は複数のプログラマブル電子回路（例えば、マイクロプロセッサ、グラフィックス処理ユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、中央処理ユニット（ＣＰＵ）、及び／又は他の好適な電子回路）を含み得る、電子回路若しくは他の電子ハードウェアを含むことができ、かつ／又はそれらを使用して実装されることが可能であり、かつ／あるいは本明細書で説明する様々な動作を実行するために、コンピュータソフトウェア、ファームウェア、若しくはそれらの任意の組み合わせを含むことができ、かつ／又はそれらを使用して実装されることが可能である。コンピューティングデバイスは、ディスプレイ（出力デバイスの一例として又は出力デバイスに加えて）、データを通信及び／若しくは受信するように構成されたネットワークインターフェース、任意のそれらの組み合わせ、並びに／又は他の構成要素を更に含んでもよい。ネットワークインターフェースは、インターネットプロトコル（ＩＰ）ベースのデータ又は他のタイプのデータを通信及び／又は受信するように構成され得る。

【0303】

[0317] プロセス１１００、１２００、１３００、及び１４００は、論理フロー図として示されており、それらの動作は、ハードウェア、コンピュータ命令、又はそれらの組み合わせにおいて実施することができる動作のシーケンスを表す。コンピュータ命令のコンテキストでは、動作は、１つ又は複数のプロセッサによって実行されたとき、記載された動作を実行する、１つ又は複数のコンピュータ可読記憶媒体上に記憶されたコンピュータ実行可能命令を表す。概して、コンピュータ実行可能命令は、特定の機能を実行するか又は特定のデータタイプを実装するルーチン、プログラム、オブジェクト、構成要素、データ構造などを含む。動作が説明される順序は、限定として解釈されることを意図せず、任意の数の説明する動作は、プロセスを実施するために任意の順序で、かつ／又は並列に組み合わせられ得る。

【0304】

[0318] 更に、プロセス１１００、１２００、１３００、及び／又は１４００のいずれかは、実行可能命令で構成された１つ又は複数のコンピュータシステムの制御下で実施され得、まとめて１つ又は複数のプロセッサ上で、ハードウェアによって、又はそれらの組み合わせで実行するコード（例えば、実行可能命令、１つ又は複数のコンピュータプログラム、又は１つ又は複数のアプリケーション）として実装され得る。上述のように、コードは、例えば、１つ又は複数のプロセッサによって実行可能な複数の命令を備えるコンピュータプログラムの形態で、コンピュータ可読記憶媒体又は機械可読記憶媒体上に記憶されてよい。コンピュータ可読記憶媒体又は機械可読記憶媒体は、非一時的であってよい。

【0305】

[0319] 図１５は、本明細書で説明する様々な技術を実装することができる、例示的なコンピューティングデバイスの例示的なコンピューティングデバイスアーキテクチャ１５００を示す。例えば、コンピューティングデバイスアーキテクチャ１５００は、図１に示したコンピューティングシステム１００又は図２に示したコンピューティングシステム２１０の少なくともいくつかの部分を実装することができる。コンピューティングデバイスアーキテクチャ１５００の構成要素は、バスなどの接続部１５０５を使用して、互いに電気通信するように示されている。例示的なコンピューティングデバイスアーキテクチャ１５００は、処理ユニット（ＣＰＵ又はプロセッサ）１５１０と、リードオンリーメモリ（ＲＯＭ）１５２０及びランダムアクセスメモリ（ＲＡＭ）１５２５などのコンピューティングデバイスメモリ１５１５を含む様々なコンピューティングデバイス構成要素をプロセッサ１５１０に結合するコンピューティングデバイス接続部１５０５と、を含む。

【0306】

[0320] コンピューティングデバイスアーキテクチャ１５００は、プロセッサ１５１０に直接接続される、プロセッサ１５１０の近くにある、又はプロセッサ１５１０の一部として統合される高速メモリのキャッシュを含むことができる。コンピューティングデバイスアーキテクチャ１５００は、プロセッサ１５１０による高速アクセスのために、メモリ１５１５及び／又は記憶デバイス１５３０からデータをキャッシュ１５１２にコピーすることができる。このようにして、キャッシュは、データを待機する間のプロセッサ１５１０の遅延を回避する、パフォーマンスブーストを提供することができる。これら及び他のモジュールは、様々なアクションを実行するようにプロセッサ１５１０を制御することができる、又はそれを制御するように構成され得る。他のコンピューティングデバイスメモリ１５１５も、使用可能であり得る。メモリ１５１５は、異なる性能特性を有する複数の異なるタイプのメモリを含むことができる。プロセッサ１５１０は、任意の汎用プロセッサ、及び記憶デバイス１５３０に記憶されプロセッサ１５１０を制御するように構成されたハードウェア又はソフトウェアサービス、並びにソフトウェア命令がプロセッサ設計に組み込まれた専用プロセッサを含むことができる。プロセッサ１５１０は、複数のコア又はプロセッサ、バス、メモリコントローラ、キャッシュなどを含む、自己完結型のシステムであってもよい。マルチコアプロセッサは、対称でも非対称であってもよい。

【0307】

[0321] コンピューティングデバイスアーキテクチャ１５００とのユーザの対話を可能にするために、入力デバイス１５４５は、発話のためのマイクロフォン、ジェスチャ又はグラフィカル入力のためのタッチ感知スクリーン、キーボード、マウス、動作入力、スピーチなどの、任意の数の入力機構を表すことができる。出力デバイス１５３５はまた、ディスプレイ、プロジェクタ、テレビ、スピーカデバイスなどの、当業者に知られているいくつかの出力機構のうちの１つ又は複数であってもよい。場合によっては、マルチモーダルコンピューティングデバイスにより、コンピューティングデバイスアーキテクチャ１５００と通信するためにユーザが複数のタイプの入力を提供することを可能にし得る。通信インターフェース１５４０は、一般に、ユーザ入力及びコンピューティングデバイス出力を支配して管理することができる。いかなる特定のハードウェア構成上で動作することに対しても制約はなく、したがって、改善されたハードウェア又はファームウェア構成が開発されるにつれて、ここでの基本的機能がそれらと容易に置き換えられ得る。

【0308】

[0322] 記憶デバイス１５３０は、不揮発性メモリであり、ハードディスク、又は磁気カセット、フラッシュメモリカード、ソリッドステートメモリデバイス、デジタル多用途ディスク、カートリッジ、ランダムアクセスメモリ（ＲＡＭ）１５２５、リードオンリーメモリ（ＲＯＭ）１５２０、及びそれらのハイブリッドなどの、コンピュータによってアクセス可能なデータを記憶できる他のタイプのコンピュータ可読媒体であり得る。記憶デバイス１５３０は、プロセッサ１５１０を制御するためのソフトウェア、コード、ファームウェアなどを含むことができる。他のハードウェア又はソフトウェアモジュールが企図される。記憶デバイス１５３０は、コンピューティングデバイス接続部１５０５に接続され得る。１つの態様では、特定の機能を実行するハードウェアモジュールは、機能を実行するために、プロセッサ１５１０、接続部１５０５、出力デバイス１５３５などの必要なハードウェア構成要素と接続している、コンピュータ可読媒体に記憶されているソフトウェア構成要素を含むことができる。

【0309】

[0323] 「コンピュータ可読媒体」という用語は、限定はしないが、ポータブル又は非ポータブルの記憶デバイス、光記憶デバイス、並びに命令（複数可）及び／又はデータを記憶、格納、又は搬送できる様々な他の媒体を含む。コンピュータ可読媒体は、データがそこに記憶され得るとともに、ワイヤレスに又は有線接続を介して伝搬する搬送波及び／又は一時的な電子信号を含まない、非一時的媒体を含んでもよい。非一時的媒体の例は、限定はしないが、磁気ディスク若しくはテープ、コンパクトディスク（ＣＤ）若しくはデジタル多用途ディスク（ＤＶＤ）などの光記憶媒体、フラッシュメモリ、メモリ、又はメモリデバイスを含んでもよい。コンピュータ可読媒体は、プロシージャ、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、又は命令、データ構造、若しくはプログラムステートメントの任意の組み合わせを表し得る、その上に記憶されたコード及び／又は機械実行可能命令を有してもよい。コードセグメントは、情報、データ、引数、パラメータ、又はメモリ内容を渡すこと及び／又は受けることによって、別のコードセグメント又はハードウェア回路に結合されてもよい。情報、引数、パラメータ、データなどは、メモリ共有、メッセージパッシング、トークンパッシング、ネットワーク送信などを含む、任意の好適な手段を介して渡され、転送され、又は送信されてもよい。

【0310】

[0324] いくつかの実施形態では、コンピュータ可読記憶デバイス、媒体、及びメモリは、ビットストリームなどを含むケーブル又はワイヤレス信号を含み得る。しかしながら、述べられるとき、非一時的コンピュータ可読記憶媒体は、エネルギー、キャリア信号、電磁波、及び信号自体などの媒体を明確に除外する。

【0311】

[0325] 本明細書で提供する実施形態及び例の完全な理解を与えるために、上記の説明において具体的な詳細が提供されている。しかしながら、実施形態がこれらの具体的な詳細なしに実践され得ることが当業者によって理解されよう。説明を明快にするために、いくつかの事例では、本技術は、デバイスと、デバイス構成要素と、ソフトウェア、又はハードウェアとソフトウェアの組み合わせにおいて具現化された方法におけるステップ又はルーチンと、を備える個々の機能ブロックを含むものとして提示されてもよい。図の中に示されかつ／又は本明細書で説明されるもの以外の、追加の構成要素が使用されてよい。例えば、不必要な詳細で実施形態を不明瞭にしないように、回路、システム、ネットワーク、プロセス、及び他の構成要素がブロック図の形態で構成要素として示されることがある。他の事例では、実施形態を不明瞭にすることを避けるために、よく知られている回路、プロセス、アルゴリズム、構造、及び技法は、不必要な詳細なしに示されることがある。

【0312】

[0326] 個々の実施形態が、フローチャート、フロー図、データフロー図、構造図、又はブロック図として示されるプロセス又は方法として上記で説明されることがある。フローチャートは、動作を逐次プロセスとして説明することがあるが、動作の多くは並列に又は同時に実行することができる。加えて、工程の順番は並べ替えられてもよい。プロセスは、その動作が完了するときに終了するが、図に含まれない追加のステップを有することができる。プロセスは、メソッド、関数、プロシージャ、サブルーチン、サブプログラムなどに対応してもよい。プロセスが関数に対応するとき、その終了は、その関数が呼出し関数又はメイン関数に戻ることに対応することができる。

【0313】

[0327] 上記で説明した例によるプロセス及び方法は、記憶されているか、又はそうでなければコンピュータ可読媒体から入手可能なコンピュータ実行可能命令を使用して実装され得る。そのような命令は、例えば、汎用コンピュータ、専用コンピュータ、又は処理デバイスが、ある機能又は機能のグループを実施することを引き起こすか、あるいはさもなければそれらを実施するように構成する、命令とデータとを含むことができる。使用されるコンピュータリソースの部分は、ネットワークを介してアクセス可能であることができる。コンピュータ実行可能命令は、例えば、アセンブリ言語、ファームウェア、ソースコードなどのバイナリ、中間フォーマット命令であってもよい。命令、使用される情報、及び／又は記載した例による方法中に作成される情報を記憶するのに使用され得るコンピュータ可読媒体の例は、磁気又は光ディスク、フラッシュメモリ、不揮発性メモリが設けられたＵＳＢデバイス、ネットワーク接続された記憶デバイスなどを含む。

【0314】

[0328] これらの開示に従ってプロセス及び方法を実施するデバイスは、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はそれらの任意の組み合わせを含むことができ、様々なフォームファクタのうちのいずれかをとることができる。ソフトウェア、ファームウェア、ミドルウェア、又はマイクロコードにおいて実装されるとき、必要なタスクを実行するためのプログラムコード又はコードセグメント（例えば、コンピュータプログラム製品）は、コンピュータ可読媒体又は機械可読媒体に記憶されてもよい。プロセッサ（単数又は複数）は必要なタスクを実行してよい。フォームファクタの典型的な例は、ラップトップ、スマートフォン、携帯電話、タブレットデバイス又は他の小型フォームファクタパーソナルコンピュータ、携帯情報端末、ラックマウントデバイス、スタンドアロンデバイスなどを含む。本明細書で説明した機能性はまた、周辺装置又はアドインカードの中で具現され得る。そのような機能性はまた、更なる例として、異なるチップのうちの回路基板上、又は単一のデバイスの中で実行する異なるプロセス上で実施され得る。

【0315】

[0329] 命令、そのような命令を伝えるための媒体、命令を実行するためのコンピューティングリソース、及びそのようなコンピューティングリソースをサポートするための他の構造は、本開示で説明した機能を提供するための例示的な手段である。

【0316】

[0330] 上記の説明では、本出願の態様はそれらの特定の実施形態を参照しながら説明されるが、本出願がそれらに限定されないことを当業者は認識されよう。したがって、本出願の例示的な実施形態が本明細書で詳細に説明されているが、本発明の概念が別のやり方で様々に具現及び採用され得ること、並びに従来技術によって限定される場合を除き、添付の特許請求の範囲がそのような変形を含むものと解釈されることが意図されることを理解されたい。上記で説明した本出願の様々な特徴及び態様は、個別に又は共同で使用され得る。更に、実施形態は、本明細書のより広い範囲から逸脱することなく、本明細書に記載したもの以外の任意の数の環境及び適用例において利用することができる。したがって、本明細書及び図面は限定的ではなく例示的と見なされるべきである。例示の目的のために、方法は特定の順序で説明された。代替実施形態では、方法は説明された順序とは異なる順序で実行されてもよいことを諒解されたい。

【0317】

[0331] 本明細書で使用される、よりも小さい（「＜」）及びよりも大きい（「＞」）という記号又は専門用語は、本明細書の範囲から逸脱することなく、以下（「≦」）及び以上（「≧」）という記号それぞれと置き換えることができることを、当業者は理解されよう。

【0318】

[0332] 構成要素がいくつかの動作を実行する「ように構成される」ものとして説明される場合、そのような構成は、例えば、動作を実行するように電子回路若しくは他のハードウェアを設計することによって、動作を実行するようにプログラマブル電子回路（例えば、マイクロプロセッサ、又は他の適切な電子回路）をプログラムすることによって、又はそれらの任意の組み合わせで達成され得る。

【0319】

[0333] 「に結合される」という句は、直接若しくは間接的のいずれかで別の構成要素に物理的に接続される任意の構成要素、及び／又は直接若しくは間接的のいずれかで別の構成要素と通信している（例えば、有線接続若しくはワイヤレス接続及び／又は他の好適な通信インターフェースを介して他の構成要素に接続される）任意の構成要素を指す。

【0320】

[0334] 集合「のうちの少なくとも１つ」、及び／又は集合のうちの「１つ又は複数」を記載する請求項の文言又は本開示における他の文言は、集合のうちの１つのメンバー又は（任意の組み合わせにおける）集合のうちの複数のメンバーが請求項を満足することを示す。例えば、「Ａ及びＢのうちの少なくとも１つ」又は「Ａ又はＢのうちの少なくとも１つ」を記載する請求項の文言は、Ａ、Ｂ、又はＡ及びＢを意味する。別の例では、「Ａ、Ｂ、及びＣのうちの少なくとも１つ」又は「Ａ、Ｂ、又はＣのうちの少なくとも１つ」を記載する請求項の文言は、Ａ、Ｂ、Ｃ、又はＡ及びＢ、又はＡ及びＣ、又はＢ及びＣ、又はＡ及びＢ及びＣを意味する。集合「のうちの少なくとも１つ」及び／又は集合のうちの「１つ又は複数」という文言は、集合の中で列挙される項目にその集合を限定しない。例えば、「Ａ及びＢのうちの少なくとも１つ」又は「Ａ又はＢのうちの少なくとも１つ」と記載する請求項の文言は、Ａ、Ｂ、又はＡ及びＢを意味することができ、追加として、Ａ及びＢの集合の中で列挙されない項目を含むことができる。

【0321】

[0335] 本明細書で開示した例に関して説明した様々な例示的な論理ブロック、モジュール、回路、及びアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、ファームウェア、又はそれらの組み合わせとして実装されてもよい。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、及びステップについて、それらの機能に関して概略的に上記で説明した。そのような機能がハードウェアとして実装されるのか又はソフトウェアとして実装されるのかは、具体的な適用例及び全体的なシステムに課される設計制約に依存する。当業者は、説明した機能性を特定の適用例ごとに様々な方法で実施し得るが、そのような実装決定は、本出願の範囲からの逸脱を引き起こすものと解釈されるべきではない。

【0322】

[0336] 本明細書で説明する技法はまた、電子ハードウェア、コンピュータソフトウェア、ファームウェア、又はそれらの任意の組み合わせにおいて実装され得る。そのような技法は、汎用コンピュータ、無線通信デバイスハンドセット、又は無線通信デバイスハンドセット及び他のデバイスにおける適用例を含む複数の用途を有する集積回路デバイスなどの、様々なデバイスのうちのいずれかにおいて実装されてもよい。モジュール又は構成要素として説明した任意の特徴は、集積論理デバイスの中で一緒に、又は個別であるが相互動作可能な論理デバイスとして別々に実装され得る。ソフトウェアで実装される場合、技術は、命令を含むプログラムコードを含むコンピュータ可読データ記憶媒体によって少なくとも部分的に実現されてもよく、命令が、実行されたときに、上記で説明した方法、アルゴリズム、及び／又は動作のうちの１つ又は複数を実行する。コンピュータ可読データ記憶媒体は、コンピュータプログラム製品の一部を形成してもよく、これはパッケージング材料を含んでもよい。コンピュータ可読媒体は、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、ＦＬＡＳＨメモリ、磁気又は光データ記憶媒体などの、メモリ又はデータ記憶媒体を備えてもよい。技法は、追加又は代替として、伝搬される信号又は波などの、命令又はデータ構造の形態でのプログラムコードを搬送又は通信するとともに、コンピュータによってアクセスされ、読み取られ、かつ／又は実行され得る、コンピュータ可読通信媒体によって少なくとも部分的に実現されてよい。

【0323】

[0337] プログラムコードは、１つ又は複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、又は他の均等な集積論理回路構成若しくは個別論理回路構成などの１つ又は複数のプロセッサを含み得る、プロセッサによって実行されてよい。そのようなプロセッサは、本開示に記載された技法のいずれかを実施するように構成されてもよい。汎用プロセッサは、マイクロプロセッサであってもよいが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンでもあってもよい。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと連携した１つ又は複数のマイクロプロセッサ、又は任意の他のそのような構成として実装されてよい。したがって、本明細書で使用する「プロセッサ」という用語は、上記の構造、上記の構造の任意の組み合わせ、又は本明細書で説明した技法の実装に適した任意の他の構造若しくは装置のうちのいずれかを指すことがある。

【0324】

[0338] 本開示の例示的な例は、以下を含む。

【0325】

[0339] 態様１．装置であって、メモリと、メモリに結合された１つ又は複数のプロセッサと、を備え、１つ又は複数のプロセッサが、車両の座標系に対する装置の姿勢を判定し、車両から、車両の１つ又は複数のセンサに関連付けられたデータを受信し、装置のディスプレイデバイスを使用して、１つ又は複数のセンサに関連付けられたデータと、車両の座標系に対する装置の姿勢とに基づいて、仮想コンテンツを表示する、ように構成されている、装置。

【0326】

[0340] 態様２．装置の姿勢を判定するために、１つ又は複数のプロセッサは、車両の内部の１つ又は複数の画像に基づいて、装置の姿勢を判定するように構成される、態様１に記載の装置。

【0327】

[0341] 態様３．１つ又は複数のプロセッサが、１つ又は複数のセンサに関連付けられたデータに基づいて、車両のコンテキストを判定するように構成され、コンテキストが、車両に関連するイベントを含む、態様１又は２に記載の装置。

【0328】

[0342] 態様４．１つ又は複数のプロセッサは、車両の乗員の注意を車両の動作又は車両イベントから逸らす、又は車両イベント又はカバー不可能と判定された車両の外部の領域に対する乗員の視界を遮る仮想コンテンツアイテムをフィルタリング又は修正するように更に構成されている、態様３に記載の装置。

【0329】

[0343] 態様５．１つ又は複数のプロセッサが、装置の座標系に対する仮想コンテンツのロケーションを、車両の座標系に対するイベントのロケーションに関連付け、装置の座標系に対する仮想コンテンツのロケーションと車両の座標系に対するイベントのロケーションとの関連付けに基づいて、装置の１つ又は複数の視覚画像センサからのライブコンテンツフィードを表示するように構成されている、態様３又は４に記載の装置。

【0330】

[0344] 態様６．ライブコンテンツフィードを表示するために、１つ又は複数のプロセッサが、車両の座標系に対する装置の姿勢と、イベントに対する車両の姿勢とに基づいて、イベントに対する装置の姿勢を判定し、イベントに対する装置の姿勢と、装置の座標系に対する仮想コンテンツのロケーションと車両の座標系に対するイベントのロケーションとの関連付けとに基づいて、仮想コンテンツが、車両の乗員の視野内でイベントを少なくとも部分的に遮蔽することを判定するように構成されている、態様５に記載の装置。

【0331】

[0345] 態様７．１つ又は複数のプロセッサが、仮想コンテンツが、イベントに対する１つ又は複数の画像センサの視界を少なくとも部分的に遮るという判定に更に基づいて、ライブコンテンツを表示するように構成されている、態様５に記載の装置。

【0332】

[0346] 態様８．１つ又は複数のプロセッサが、装置の座標系に対する仮想コンテンツのロケーションを、車両の座標系に対するイベントのロケーションに関連付け、装置の座標系に対する仮想コンテンツアイテムのロケーションと車両の座標系に対するイベントのロケーションとの関連付けに基づいて、仮想コンテンツアイテムをフィルタリング又は修正するように構成されている、態様３から７のいずれかに記載の装置。

【0333】

[0347] 態様９．仮想コンテンツアイテムをフィルタリング又は修正するために、１つ又は複数のプロセッサは、仮想コンテンツアイテムの１つ又は複数の特性を修正し、１つ又は複数の特性が、透明度、サイズ、仮想コンテンツアイテムのロケーション、及び仮想コンテンツアイテムの輝度レベルのうちの少なくとも１つを含む、ように構成されている、態様８に記載の装置。

【0334】

[0348] 態様１０．仮想コンテンツアイテムをフィルタリング又は修正するために、１つ又は複数のプロセッサは、車両の乗員の視線を判定し、乗員は装置に関連付けられており、乗員の視線及びイベントのロケーションに基づいて、乗員に対するイベントの可視性を判定し、乗員に対するイベントの可視性に更に基づいて、仮想コンテンツアイテムをフィルタリング又は修正する、ように構成されている、態様８又は９に記載の装置。

【0335】

[0349] 態様１１．イベントが、車両の経路内のオブジェクトの存在又は車両の経路への閾値近接度、車両の経路に関連付けられた交通規制、並びに車両が速度制限及び車線区分線のうちの少なくとも１つ内に留まらなかったこと、のうちの少なくとも１つを含む、態様３に記載の装置。

【0336】

[0350] 態様１２．車両の経路内のオブジェクト又は車両の経路に対する閾値近接度が、歩行者、動物、及び別の車両のうちの少なくとも１つを含む、態様１１に記載の装置。

【0337】

[0351] 態様１３．１つ又は複数のプロセッサが、車両の乗員の視線を判定し、乗員は装置に関連付けられており、車両の乗員の視線の方向内に仮想コンテンツをレンダリングする、ように構成されている、態様３に記載の装置。

【0338】

[0352] 態様１４．乗員の視線の方向内に仮想コンテンツをレンダリングするために、１つ又は複数のプロセッサが、イベント、イベントのロケーション、及びイベントの方向のうちの少なくとも１つの仮想インジケータを備える仮想コンテンツオーバーレイをレンダリングするように構成されている、態様１３に記載の装置。

【0339】

[0353] 態様１５．乗員の視線の方向内に仮想コンテンツをレンダリングするために、仮想コンテンツをフィルタリング又は修正するために、１つ又は複数のプロセッサは、仮想コンテンツの１つ又は複数の特性を修正し、１つ又は複数の特性が、透明度、サイズ、仮想コンテンツのロケーション、及び仮想コンテンツの輝度レベルのうちの少なくとも１つを含む、ように構成されている、態様１３又は１４に記載の装置。

【0340】

[0354] 態様１６．１つ又は複数のプロセッサが、車両のコンテキスト及び装置の姿勢に基づいて、仮想コンテンツの少なくとも一部をフィルタリングするように構成されている、態様１から１５のいずれかに記載の装置。

【0341】

[0355] 態様１７．仮想コンテンツの少なくとも一部をフィルタリングするために、１つ又は複数のプロセッサが、仮想コンテンツのサブセットの提示を可能にするように構成され、仮想コンテンツのサブセットが、車両の状況の指標及び車両計装情報のうちの少なくとも１つを含む、態様１６に記載の装置。

【0342】

[0356] 態様１８．仮想コンテンツを表示するために、１つ又は複数のプロセッサが、車両に関連付けられた仮想コンテンツアイテムをレンダリングするように構成され、仮想コンテンツアイテムが、車両の表面に対してレンダリングされる、態様１から１７のいずれか記載の装置。

【0343】

[0357] 態様１９．レンダリングされた仮想コンテンツアイテムが、１つ又は複数のセンサに関連付けられたデータにおいて識別されたイベントの第１の指標、車両のコンテキストの第２の指標、及び車両のコンテキストに関連付けられた警報のうちの少なくとも１つを含む、態様１８に記載の装置。

【0344】

[0358] 態様２０．仮想コンテンツアイテムをレンダリングするために、１つ又は複数のプロセッサが、車両のカメラデバイスからカメラフィードを受信し、カメラフィードの少なくとも一部を装置の表示領域内に表示する、ように構成されている、態様１８又は１９に記載の装置。

【0345】

[0359] 態様２１．装置の姿勢を判定するために、１つ又は複数のプロセッサが、１つ又は複数の無線周波数（ＲＦ）信号を取得し、車両の内部の１つ又は複数の画像と、１つ又は複数のＲＦ信号に関連付けられたラウンドトリップ時間、１つ又は複数のＲＦ信号に関連付けられた到着時間、及び１つ又は複数のＲＦ信号に関連付けられた受信信号強度インジケータ（ＲＳＳＩ）のうちの少なくとも１つとに基づいて、装置の姿勢を判定する、ように構成されている、態様１から２０のいずれかに記載の装置。

【0346】

[0360] 態様２２．装置の姿勢を判定するために、１つ又は複数のプロセッサは、車両から、車両に関連付けられた１つ又は複数のマーカを含む車両テンプレートを受信し、車両の内部の１つ又は複数の画像及び車両テンプレートに基づいて、車両の座標系に対する装置の姿勢を判定する、ように構成されている、態様１から２１のいずれかに記載の装置。

【0347】

[0361] 態様２３．１つ又は複数のマーカが、車両の内部内のエリア及び車両の内部に取り付けられたオブジェクトのうちの少なくとも一方の視覚パターン、車両の内部の要素、車両の内部内の表面、並びに車両の内側の照明されたオブジェクトのうちの少なくとも１つを含む、態様２２に記載の装置。

【0348】

[0362] 態様２４．装置の姿勢を判定するために、１つ又は複数のプロセッサが、１つ又は複数の画像内の１つ又は複数のマーカを検出し、検出された１つ又は複数のマーカ及び車両テンプレートに基づいて、車両の座標系に対する装置の姿勢を判定する、ように構成されている、態様２２又は２３に記載の装置。

【0349】

[0363] 態様２５．１つ又は複数のプロセッサは、装置の１つ又は複数の画像センサを使用して、車両の内部の画像のセットを取得し、画像のセットが、車両に関連付けられた１つ又は複数のマーカを描写し、画像のセットに基づいて、１つ又は複数のマーカを含む車両テンプレートを生成する、ように構成されている、態様１から２４のいずれかに記載の装置。

【0350】

[0364] 態様２６．ヘッドマウントディスプレイを備える、態様１から２５のいずれかに記載の装置。

【0351】

[0365] 態様２７．１つ又は複数の画像センサを更に備える、態様１から２６のいずれかに記載の装置。

【0352】

[0366] 態様２８．方法は、車両の座標系に対するモバイルデバイスの姿勢を判定することと、車両から、車両の１つ又は複数のセンサに関連付けられたデータを受信することと、モバイルデバイスのディスプレイデバイスを使用して、１つ又は複数のセンサに関連付けられたデータと、車両の座標系に対するモバイルデバイスの姿勢とに基づいて、仮想コンテンツを表示することと、を含む、方法。

【0353】

[0367] 態様２９．モバイルデバイスの姿勢を判定することは、車両の内部の１つ又は複数の画像に基づいて、モバイルデバイスの姿勢を判定することを含む、態様２８に記載の方法。

【0354】

[0368] 態様３０．１つ又は複数のセンサに関連付けられたデータに基づいて、車両のコンテキストを判定することを更に含み、コンテキストが、車両に関連するイベントを含む、態様２８又は２９に記載の方法。

【0355】

[0369] 態様３１．車両の乗員の注意を車両の動作又は車両イベントから逸らす、又は車両イベント又はカバー不可能と判定された車両の外部の領域に対する乗員の視界を遮る仮想コンテンツアイテムをフィルタリング又は修正することを更に含む、態様３０に記載の方法。

【0356】

[0370] 態様３２．モバイルデバイスの座標系に対する仮想コンテンツのロケーションを、車両の座標系に対するイベントのロケーションに関連付けることと、モバイルデバイスの座標系に対する仮想コンテンツのロケーションと車両の座標系に対するイベントのロケーションとの関連付けに基づいて、モバイルデバイスの１つ又は複数の視覚画像センサからのライブコンテンツフィードを表示することと、を更に含む、態様３０又は３１に記載の方法。

【0357】

[0371] 態様３３．ライブコンテンツフィードを表示することは、車両の座標系に対するモバイルデバイスの姿勢と、イベントに対する車両の姿勢とに基づいて、イベントに対するモバイルデバイスの姿勢を判定することと、イベントに対するモバイルデバイスの姿勢と、モバイルデバイスの座標系に対する仮想コンテンツのロケーションと車両の座標系に対するイベントのロケーションとの関連付けとに基づいて、仮想コンテンツが、車両の乗員の視野内でイベントを少なくとも部分的に遮蔽することを判定することと、を含む、態様３２に記載の方法。

【0358】

[0372] 態様３４．仮想コンテンツが、イベントに対するモバイルデバイスの１つ又は複数の画像センサの視界を少なくとも部分的に遮るという判定に更に基づいて、ライブコンテンツを表示することを更に含む、態様３２又は３３に記載の方法。

【0359】

[0373] 態様３５．モバイルデバイスの座標系に対する仮想コンテンツアイテムのロケーションを、車両の座標系に対するイベントのロケーションに関連付けることと、モバイルデバイスの座標系に対する仮想コンテンツのロケーションと車両の座標系に対するイベントのロケーションとの関連付けに基づいて、仮想コンテンツアイテムをフィルタリング又は修正することとを更に含む、態様３０に記載の方法。

【0360】

[0374] 態様３６．仮想コンテンツアイテムをフィルタリング又は修正するために、１つ又は複数のプロセッサは、仮想コンテンツアイテムの１つ又は複数の特性を修正し、１つ又は複数の特性が、透明度、サイズ、仮想コンテンツアイテムのロケーション、及び仮想コンテンツアイテムの輝度レベルのうちの少なくとも１つを含む、ように構成されている、態様３５に記載の方法。

【0361】

[0375] 態様３７．仮想コンテンツアイテムをフィルタリング又は修正するために、１つ又は複数のプロセッサは、車両の乗員の視線を判定し、乗員はモバイルデバイスに関連付けられており、乗員の視線及びイベントのロケーションに基づいて、乗員に対するイベントの可視性を判定し、乗員に対するイベントの可視性に更に基づいて、仮想コンテンツアイテムをフィルタリング又は修正するように構成されている、態様３５又は３６に記載の方法。

【0362】

[0376] 態様３８．イベントが、車両の経路内のオブジェクトの存在又は車両の経路への閾値近接度、車両の経路に関連付けられた交通規制、並びに車両が速度制限及び車線区分線のうちの少なくとも１つ内に留まらなかったこと、のうちの少なくとも１つを含む、態様３０に記載の方法。

【0363】

[0377] 態様３９．車両の経路内のオブジェクト又は車両の経路に対する閾値近接度が、歩行者、動物、及び別の車両のうちの少なくとも１つを含む、態様３８に記載の方法。

【0364】

[0378] 態様４０．車両の乗員の視線を判定することであって、乗員はモバイルデバイスに関連付けられている、ことと、車両の乗員の視線の方向内に仮想コンテンツをレンダリングすることと、を更に含む、態様３０に記載の方法。

【0365】

[0379] 態様４１．乗員の視線の方向内に仮想コンテンツをレンダリングすることは、イベント、イベントのロケーション、及びイベントの方向のうちの少なくとも１つの仮想インジケータを備える仮想コンテンツオーバーレイをレンダリングすることを含む、態様４０に記載の方法。

【0366】

[0380] 態様４２．乗員の視線の方向内に仮想コンテンツをレンダリングするために、仮想コンテンツをフィルタリング又は修正するために、１つ又は複数のプロセッサは、仮想コンテンツの１つ又は複数の特性を修正し、１つ又は複数の特性が、透明度、サイズ、仮想コンテンツのロケーション、及び仮想コンテンツの輝度レベルのうちの少なくとも１つを含む、ように構成されている、態様４０又は４１に記載の方法。

【0367】

[0381] 態様４３．車両のコンテキスト及びモバイルデバイスの姿勢に基づいて、仮想コンテンツの少なくとも一部をフィルタリングすることを更に含む、態様２８から４２のいずれかに記載の方法。

【0368】

[0382] 態様４４．仮想コンテンツの少なくとも一部をフィルタリングすることが、仮想コンテンツのサブセットの提示を可能にすることを含み、仮想コンテンツのサブセットが、車両の状況の指標及び車両計装情報のうちの少なくとも１つを含む、態様４３に記載の方法。

【0369】

[0383] 態様４５．仮想コンテンツを表示することが、車両に関連付けられた仮想コンテンツアイテムをレンダリングすることを含み、仮想コンテンツアイテムが、車両の表面に対してレンダリングされる、態様２８から４４のいずれかに記載の方法。

【0370】

[0384] 態様４６．レンダリングされた仮想コンテンツアイテムが、１つ又は複数のセンサに関連付けられたデータにおいて識別されたイベントの第１の指標、車両のコンテキストの第２の指標、及び車両のコンテキストに関連付けられた警報のうちの少なくとも１つを含む、態様４５に記載の方法。

【0371】

[0385] 態様４７．仮想コンテンツアイテムをレンダリングすることは、車両のカメラデバイスからカメラフィードを受信することと、カメラフィードの少なくとも一部をモバイルデバイスの表示領域内に表示することを含む、態様４５又は４６に記載の方法。

【0372】

[0386] 態様４８．モバイルデバイスの姿勢を判定することは、１つ又は複数の無線周波数（ＲＦ）信号を取得することと、車両の内部の１つ又は複数の画像と、１つ又は複数のＲＦ信号に関連付けられたラウンドトリップ時間、１つ又は複数のＲＦ信号に関連付けられた到着時間、及び１つ又は複数のＲＦ信号に関連付けられた受信信号強度インジケータ（ＲＳＳＩ）のうちの少なくとも１つとに基づいて、モバイルデバイスの姿勢を判定することと、を含む、態様２８から４７のいずれかに記載の方法。

【0373】

[0387] 態様４９．モバイルデバイスの姿勢を判定することは、車両から、車両に関連付けられた１つ又は複数のマーカを含む車両テンプレートを受信することと、車両の内部の１つ又は複数の画像及び車両テンプレートに基づいて、車両の座標系に対するモバイルデバイスの姿勢を判定することとを含む、態様２８から４８のいずれかに記載の方法。

【0374】

[0388] 態様５０．１つ又は複数のマーカが、車両の内部内のエリア及び車両の内部に取り付けられたオブジェクトのうちの少なくとも一方の視覚パターン、車両の内部の要素、車両の内部内の表面、並びに車両の内側の照明されたオブジェクトのうちの少なくとも１つを含む、態様４９に記載の方法。

【0375】

[0389] 態様５１．モバイルデバイスの姿勢を判定することは、１つ又は複数の画像内の１つ又は複数のマーカを検出することと、検出された１つ又は複数のマーカ及び車両テンプレートに基づいて、車両の座標系に対するモバイルデバイスの姿勢を判定することと、を含む、態様４９又は５０に記載の方法。

【0376】

[0390] 態様５２．モバイルデバイスの１つ又は複数の画像センサを使用して、車両の内部の画像のセットを取得することであって、画像のセットが、車両に関連付けられた１つ又は複数のマーカを描写する、ことと、画像のセットに基づいて、１つ又は複数のマーカを含む車両テンプレートを生成することと、を更に含む、態様２８から５１のいずれかに記載の方法。

【0377】

[0391] 態様５３．１つ又は複数のプロセッサによって実行されたとき、１つ又は複数のプロセッサに態様２８から５２のいずれかに記載の方法を実施させる命令を記憶した非一時的コンピュータ可読媒体。

【0378】

[0392] 態様５４．態様２８から５２のいずれかに記載の方法を実行する手段を備える装置。

【0379】

[0393] 態様５５．装置であって、メモリと、メモリに結合された１つ又は複数のプロセッサと、を備え、１つ又は複数のプロセッサが、車両の内部の１つ又は複数の画像に基づいて、車両の座標系に対する装置の姿勢を判定し、車両の乗員の状態を判定し、乗員の状態及び車両の座標系に対する装置の姿勢を示すデータを車両に送信する、ように構成されている、装置。

【0380】

[0394] 態様５６．乗員の状態は、車両を操作することに関する乗員の障害を含む、態様５５に記載の装置。

【0381】

[0395] 態様５７．乗員の障害は、車両を安全に操作する乗員の能力に悪影響を与える任意のイベント、活動、注意散漫、状態、属性、挙動、及び／又は条件を含む、態様５６に記載の装置。

【0382】

[0396] 態様５８．障害は、車両の動作及び車両に関連付けられたイベントのうちの少なくとも１つに関する注意散漫状態、中毒状態、健康状態、覚醒状態、検出された感情状態、車両を制御するための障害位置、及び障害視界のうちの少なくとも１つを含む、態様５６又は５７に記載の装置。

【0383】

[0397] 態様５９．乗員の状態を判定するために、１つ又は複数のプロセッサは、車両から、車両の１つ又は複数のセンサに関連付けられたデータを受信し、車両の１つ又は複数のセンサに関連付けられたデータ及び装置の姿勢に基づいて、乗員の状態を判定するように構成されている、態様５６から５８のいずれかに記載の装置。

【0384】

[0398] 態様６０．車両の１つ又は複数のセンサに関連付けられたデータは、車両の状態及び車両に関連付けられたイベントのうちの少なくとも１つを示す、態様５９に記載の装置。

【0385】

[0399] 態様６１．車両に関連付けられたイベントが、車両の経路内のオブジェクトの存在又は車両の経路への閾値近接度、車両の経路に関連付けられた交通規制、並びに車両が速度制限及び車線区分線のうちの少なくとも１つ内に留まらなかったこと、のうちの少なくとも１つを含む、態様６０に記載の装置。

【0386】

[0400] 態様６２．車両の経路内のオブジェクト又は車両の経路に対する閾値近接度が、歩行者、動物、及び別の車両のうちの少なくとも１つを含む、態様６１に記載の装置。

【0387】

[0401] 態様６３．乗員の障害は、車両を安全に操作する乗員の能力に悪影響を与える任意のイベント、活動、注意散漫、状態、属性、挙動、及び／又は条件を含む、態様５６から６２のいずれかに記載の装置。

【0388】

[0402] 態様６４．１つ又は複数のプロセッサが、車両の乗員の視線を判定するように構成され、乗員の状態は乗員の視線を含み、乗員は装置に関連付けられている、態様５５から６３のいずれかに記載の装置。

【0389】

[0403] 態様６５．乗員の状態を判定するために、１つ又は複数のプロセッサは、装置及び乗員によって装着されるウェアラブルデバイスのうちの少なくとも１つに関連付けられた１つ又は複数のセンサから、乗員に関連付けられた１つ又は複数の健康測定値を受信し、１つ又は複数の健康測定値に基づいて、乗員の状態を判定するように構成される、態様５５から６４のいずれかに記載の装置。

【0390】

[0404] 態様６６．１つ又は複数の健康測定値は、心拍数、血圧、体温、ガルバニック皮膚反応、乗員の心臓からの電気信号の測定値、乗員の脳の電気活動の測定値、目の赤みの量、及び瞳孔サイズのうちの少なくとも１つを含む、態様６５に記載の装置。

【0391】

[0405] 態様６７．乗員の状態を判定するために、１つ又は複数のプロセッサは、乗員の視線が、ある期間にわたって車両の前方の道路から離れて集中していると判定し、乗員の視線が、ある期間にわたって車両の前方の道路から離れて集中していること、及び期間が閾値期間を超えるという判定に基づいて、乗員の障害状態を判定するように構成される、態様５５から６６のいずれかに記載の装置。

【0392】

[0406] 態様６８．乗員の視線が一定期間にわたって車両の前方の道路から離れて集中していると判定するために、１つ又は複数のプロセッサは、乗員の視線が一定期間の少なくとも一部にわたって、装置によってレンダリングされた仮想コンテンツに集中していると判定するように構成される、態様６７に記載の装置。

【0393】

[0407] 態様６９．乗員の視線が一定期間にわたって車両の前方の道路から離れて集中していると判定するために、１つ又は複数のプロセッサは、乗員の視線が車両の経路内の障害物の方向又は車両の経路に対する閾値近接度とは異なる方向に集中していると判定するように構成される、態様６７又は６８に記載の装置。

【0394】

[0408] 態様７０．１つ又は複数のプロセッサは、乗員の状態の指標を、第２の車両、車両インフラストラクチャシステム、第２の車両の第２の乗員に関連付けられた第１のリモートデバイス、及び歩行者に関連付けられた第２のリモートデバイスのうちの少なくとも１つに送信するように構成される、態様５５から６９のいずれかに記載の装置。

【0395】

[0409] 態様７１．乗員の状態を判定するために、１つ又は複数のプロセッサは、装置を装着している乗員の視線を判定し、装置の姿勢及び乗員の視線に基づいて、乗員の状態を判定するよう、に構成される、態様５５から７０のいずれかに記載の装置。

【0396】

[0410] 態様７２．置の姿勢を判定するために、１つ又は複数のプロセッサは、車両から、車両に関連付けられた１つ又は複数のマーカを含む車両テンプレートを受信し、１つ又は複数の画像及び車両テンプレートに基づいて、車両の座標系に対する装置の姿勢を判定する、ように構成されている、態様５５から７１のいずれかに記載の装置。

【0397】

[0411] 態様７３．１つ又は複数のマーカが、車両の内部内のエリア及び車両の内部に取り付けられたオブジェクトのうちの少なくとも一方の視覚パターン、車両の内部の要素、車両の内部内の表面、並びに車両の内側の照明されたオブジェクトのうちの少なくとも１つを含む、態様７２に記載の装置。

【0398】

[0412] 態様７４．１つ又は複数の画像が１つ又は複数のマーカを描写し、装置の姿勢を判定するために、１つ又は複数のプロセッサが、１つ又は複数の画像内の１つ又は複数のマーカを検出し、検出された１つ又は複数のマーカ及び車両テンプレートに基づいて、車両の座標系に対する装置の姿勢を判定する、ように構成されている、態様７２に記載の装置。

【0399】

[0413] 態様７５．１つ又は複数のプロセッサは、装置の１つ又は複数の画像センサを使用して、車両の内部の画像のセットを取得し、画像のセットが、車両に関連付けられた１つ又は複数の視覚ランドマークを描写し、画像のセットに基づいて、車両テンプレートを生成し、車両テンプレートが、１つ又は複数の視覚ランドマークを含む、ように構成されている、態様５５から７４のいずれかに記載の装置。

【0400】

[0414] 態様７６．装置の姿勢を判定するために、１つ又は複数のプロセッサは、装置に関連付けられた慣性センサデータを取得し、１つ又は複数の画像及び慣性センサデータに基づいて、装置の姿勢を判定するように構成される、態様５５から７５のいずれかに記載の装置。

【0401】

[0415] 態様７７．ヘッドマウントディスプレイを備える、態様５５から７６のいずれかに記載の装置。

【0402】

[0416] 態様７８．方法であって、車両の内部の１つ又は複数の画像に基づいて、車両の座標系に対するモバイルデバイスの姿勢を判定することと、車両の乗員の状態を判定することと、乗員の状態及び車両の座標系に対するモバイルの姿勢を示すデータを車両に送信することと、を含む、方法。

【0403】

[0417] 態様７９．乗員の状態は、車両を操作することに関する乗員の障害を含む、態様７８に記載の方法。

【0404】

[0418] 態様８０．乗員の障害は、車両を安全に操作する乗員の能力に悪影響を与える任意のイベント、活動、注意散漫、状態、属性、挙動、及び／又は条件を含む、態様７８又は７９のいずれかに記載の方法。

【0405】

[0419] 態様８１．障害は、車両の動作及び車両に関連付けられたイベントのうちの少なくとも１つに関する注意散漫状態、中毒状態、健康状態、覚醒状態、検出された感情状態、車両を制御するための障害位置、及び障害視界のうちの少なくとも１つを含む、態様７８から８０のいずれかに記載の方法。

【0406】

[0420] 態様８２．いくつかの例では、乗員の状態を判定することは、車両から、車両の１つ又は複数のセンサに関連付けられたデータを受信することと、車両の１つ又は複数のセンサに関連付けられたデータ及びモバイルデバイスの姿勢に基づいて、乗員の状態を判定することとを含む、態様７８から８１のいずれかに記載の方法。

【0407】

[0421] 態様８３．車両の１つ又は複数のセンサに関連付けられたデータは、車両の状態及び車両に関連付けられたイベントのうちの少なくとも１つを示す、態様８２に記載の方法。

【0408】

[0422] 態様８４．車両に関連付けられたイベントが、車両の経路内のオブジェクトの存在又は車両の経路への閾値近接度、車両の経路に関連付けられた交通規制、並びに車両が速度制限及び車線区分線のうちの少なくとも１つ内に留まらなかったこと、のうちの少なくとも１つを含む、態様８３に記載の方法。

【0409】

[0423] 態様８５．車両の経路内のオブジェクト又は車両の経路に対する閾値近接度が、歩行者、動物、及び別の車両のうちの少なくとも１つを含む、態様８４に記載の方法。

【0410】

[0424] 態様８６．車両の乗員の視線を判定することを更に含み、乗員の状態が乗員の視線を含み、乗員がモバイルデバイスに関連付けられる、態様７８から８５のいずれかに記載の方法。

【0411】

[0425] 態様８７．乗員の状態を判定することは、モバイルデバイス及び乗員によって装着されるウェアラブルデバイスのうちの少なくとも１つに関連付けられた１つ又は複数のセンサから、乗員に関連付けられた１つ又は複数の健康測定値を受信することと、１つ又は複数の健康測定値に基づいて乗員の状態を判定することとを含む、態様７８から８６のいずれかに記載の方法。

【0412】

[0426] 態様８８．１つ又は複数の健康測定値は、心拍数、血圧、体温、ガルバニック皮膚反応、乗員の心臓からの電気信号の測定値、乗員の脳の電気活動の測定値、目の赤みの量、及び瞳孔サイズのうちの少なくとも１つを含む、態様８７に記載の方法。

【0413】

[0427] 態様８９．乗員の状態を判定することは、乗員の視線が、ある期間にわたって車両の前方の道路から離れて集中していることを判定することと、乗員の視線が、ある期間にわたって車両の前方の道路から離れて集中していることと、期間が閾値期間を超えるという判定とに基づいて、乗員の障害状態を判定することとを含む、態様７８から８７のいずれかに記載の方法。

【0414】

[0428] 態様９０．乗員の視線が一定期間にわたって車両の前方の道路から離れて集中していると判定することは、乗員の視線が一定期間の少なくとも一部にわたってモバイルデバイスによってレンダリングされた仮想コンテンツに集中していると判定することを含む、態様８９に記載の方法。

【0415】

[0429] 態様９１．乗員の視線が一定期間車両の前方の道路から離れて集中していると判定することは、乗員の視線が車両の経路内の障害物の方向又は車両の経路に対する閾値近接度とは異なる方向に集中していると判定することを含む、態様８９に記載の方法。

【0416】

[0430] 態様９２．乗員の状態の指標を、第２の車両、車両インフラストラクチャシステム、第２の車両の第２の乗員に関連付けられた第１のリモートデバイス、及び歩行者に関連付けられた第２のリモートデバイスのうちの少なくとも１つに送信することを更に含む、態様７８から９１のいずれかに記載の方法。

【0417】

[0431] 態様９３．乗員の状態を判定することは、モバイルデバイスを装着している乗員の視線を判定することと、モバイルデバイスの姿勢及び乗員の視線に基づいて乗員の状態を判定することとを含む、態様７８から９２のいずれかに記載の方法。

【0418】

[0432] 態様９４．モバイルデバイスの姿勢を判定することは、車両から、車両に関連付けられた１つ又は複数のマーカを含む車両テンプレートを受信することと、１つ又は複数の画像及び車両テンプレートに基づいて、車両の座標系に対するモバイルデバイスの姿勢を判定することとを含む、態様７８から９３のいずれかに記載の方法。

【0419】

[0433] 態様９５．１つ又は複数のマーカが、車両の内部内のエリア及び車両の内部に取り付けられたオブジェクトのうちの少なくとも一方の視覚パターン、車両の内部の要素、車両の内部内の表面、並びに車両の内側の照明されたオブジェクトのうちの少なくとも１つを含む、態様９４に記載の方法。

【0420】

[0434] 態様９６．１つ又は複数の画像が１つ又は複数のマーカを描写し、モバイルデバイスの姿勢を判定することは、１つ又は複数の画像内の１つ又は複数のマーカを検出することと、検出された１つ又は複数のマーカ及び車両テンプレートに基づいて、車両の座標系に対するモバイルデバイスの姿勢を判定することと、を含む、態様９４に記載の方法。

【0421】

[0435] 態様９７．モバイルデバイスの１つ又は複数の画像センサを使用して、車両の内部の画像のセットを取得することであって、画像のセットが、車両に関連付けられた１つ又は複数の視覚ランドマークを描写する、ことと、画像のセットに基づいて、車両テンプレートを生成することであって、車両テンプレートが、１つ又は複数の視覚ランドマークを含むことと、を更に含む、態様７８から９６のいずれかに記載の方法。

【0422】

[0436] 態様９８．モバイルデバイスの姿勢を判定することは、モバイルデバイスに関連付けられた慣性センサデータを取得することと、１つ又は複数の画像及び慣性センサデータに基づいてモバイルデバイスの姿勢を判定することとを含む、態様７８から９７のいずれかに記載の方法。

【0423】

[0437] 態様９９．乗員の障害は、車両を安全に操作する乗員の能力に悪影響を与える任意のイベント、活動、注意散漫、状態、属性、挙動、及び／又は条件を含む、態様７８又は９８のいずれかに記載の方法。

【0424】

[0438] 態様１００．１つ又は複数のプロセッサによって実行されたとき、１つ又は複数のプロセッサに態様７８から９９のいずれかに記載の方法を実施させる命令を記憶した非一時的コンピュータ可読媒体。

【0425】

[0439] 態様１０１．態様７８から９９のいずれかに記載の方法を実行する手段を備える装置。

【0426】

[0440] 態様１０２．車両の１つ又は複数の動作を制御するための方法であって、車両の乗員に関連付けられたモバイルデバイスから、車両の座標系に対する乗員の姿勢を受信することと、車両の座標系に対する乗員の姿勢に基づいて、車両の１つ又は複数の機能を制御することとを含む、方法。

【0427】

[0441] 態様１０３．車両の１つ又は複数の機能を制御することは、車両の１つ又は複数の車両機能に関与することを含む、態様１０２に記載の方法。

【0428】

[0442] 態様１０４．１つ又は複数の車両機能は、オートパイロット機能、トラクション制御機能、クルーズコントロール機能、衝突回避機能、車線逸脱機能、車線中心化機能、ブレーキ支援機能、車線維持機能、高速道路支援機能、車線変更支援機能、速度適応機能、及び交差点支援機能のうちの少なくとも１つを含む、態様１０３に記載の方法。

【0429】

[0443] 態様１０５．車両の動作を制御することは、車両の１つ又は複数の自律車両システムを制御又は係合することを含む、態様１０２から１０４のいずれかに記載の方法。

【0430】

[0444] 態様１０６．１つ又は複数の自律車両システムは、死角監視システム、運転者監視システム、制動システム、自律運転制御システム、運転者支援システム、ナビゲーションシステム、ステアリング制御システム、車両通信システム、及び自動車ヘッドアップディスプレイのうちの少なくとも１つを含む、態様１０５に記載の方法。

【0431】

[0445] 態様１０７．車両の１つ又は複数のセンサに関連付けられたデータを、モバイルデバイス、第２の車両、車両インフラストラクチャシステム、第２の車両の第２の乗員に関連付けられた第１のリモートデバイス、及び歩行者に関連付けられた第２のリモートデバイスのうちの少なくとも１つに送信することを更に含む、態様１０２から１０６のいずれかに記載の方法。

【0432】

[0446] 態様１０８．乗員の状態を示すデータを、第２の車両、車両インフラストラクチャシステム、第２の車両の第２の乗員に関連付けられた第１のリモートデバイス、及び歩行者に関連付けられた第２のリモートデバイスのうちの少なくとも１つに送信することを更に含む、態様１０２から１０７のいずれかに記載の方法。

【0433】

[0447] 態様１０９．車両の座標系に対する乗員の姿勢を判定するための車両テンプレートをモバイルデバイスに送信することを更に含み、車両テンプレートは、車両に関連付けられた１つ又は複数のマーカを含む、態様１０２から１０８のいずれかに記載の方法。

【0434】

[0448] 態様１１０．１つ又は複数のマーカが、車両の内部内のエリア及び車両の内部に取り付けられたオブジェクトのうちの少なくとも一方の視覚パターン、車両の内部の要素、車両の内部内の表面、並びに車両の内側の照明されたオブジェクトのうちの少なくとも１つを含む、態様１０９に記載の方法。

【0435】

[0449] 態様１１１．車両の座標系に対する乗員の姿勢に少なくとも部分的に基づいて、出力を生成することであって、出力が、モバイルデバイスへの通信、車両の１つ又は複数の機能を修正する命令、及び乗員の状態の指標のうちの少なくとも１つを更に含む、態様１０９に記載の方法。

【0436】

[0450] 態様１１２．モバイルデバイスへの通信は、仮想コンテンツアイテム及び仮想コンテンツアイテムを表示する要求のうちの少なくとも１つを含む、態様１１１に記載の方法。

【0437】

[0451] 態様１１３．モバイルデバイスから、車両の乗員の状態を示すデータを受信することを更に含み、データは、モバイルデバイスの１つ又は複数のセンサからのセンサデータ、及びモバイルデバイスの１つ又は複数のセンサからのセンサデータに基づいて生成された処理されたデータのうちの少なくとも１つを含む、態様１０２から１１２のいずれかに記載の方法。

【0438】

[0452] 態様１１４．処理されたデータは、乗員の状態の記述及び乗員の状態を識別する分類出力のうちの少なくとも１つを含む、態様１１３に記載の方法。

【0439】

[0453] 態様１１５．モバイルデバイスから、車両の乗員の状態を示すデータを受信することを更に含み、データは、乗員の視線の指標、車両の座標系に対するモバイルデバイスの姿勢、及び乗員に関連付けられた１つ又は複数の健康測定値のうちの少なくとも１つを含む、態様１０２から１１４のいずれかに記載の方法。

【0440】

[0454] 態様１１６．１つ又は複数の健康測定値は、心拍数、血圧、体温、ガルバニック皮膚反応、乗員の心臓からの電気信号の測定値、乗員の脳の電気活動の測定値、目の赤みの量、及び瞳孔サイズのうちの少なくとも１つを含む、態様１１５に記載の方法。

【0441】

[0455] 態様１１７．車両の１つ又は複数のセンサから、車両の動作に関連するイベントの指標、乗員によって少なくとも部分的に制御される車両の１つ又は複数の動作中の１つ又は複数の運転パターンの指標、及び車両計装データのうちの少なくとも１つを含むセンサデータを取得することと、センサデータに更に基づいて、１つ又は複数の機能を制御することと、を更に含む、態様１０２から１１６のいずれかに記載の方法。

【0442】

[0456] 態様１１８．乗員の状態を判定することを更に含み、乗員の状態を判定することが、モバイルデバイス及びウェアラブルデバイスのうちの少なくとも１つに関連付けられた１つ又は複数の健康センサから、乗員に関連付けられた１つ又は複数の健康測定値を受信することと、乗員に関連付けられた１つ又は複数の健康測定値に基づいて乗員の状態を判定することとを含む、態様１１７に記載の方法。

【0443】

[0457] 態様１１９．乗員の状態を取得することを更に含み、乗員の状態は、車両を操作することに関する乗員の障害を含む、態様１０２から１１８のいずれかに記載の方法。

【0444】

[0458] 態様１２０．乗員の障害が乗員の障害を含む、態様１１９に記載の方法。いくつかの例では、乗員の障害は、一時的な障害を含むことができる。

【0445】

[0459] 態様１２１．障害は、車両の動作及び車両に関連付けられたイベントのうちの少なくとも１つに関する注意散漫状態、中毒状態、健康状態、覚醒状態、検出された感情状態、車両を制御するための障害位置、及び障害視界のうちの少なくとも１つを含む、態様１１９に記載の方法。

【0446】

[0460] 態様１２２．イベントが、車両の経路内のオブジェクトの存在又は車両の経路への閾値近接度、車両の経路に関連付けられた交通規制、並びに車両が速度制限及び車線区分線のうちの少なくとも１つ内に留まらなかったこと、のうちの少なくとも１つを含む、態様１２１に記載の方法。

【0447】

[0461] 態様１２３．オブジェクトが、歩行者、動物、及び別の車両のうちの少なくとも１つを含む、態様１２２に記載の方法。

【0448】

[0462] 態様１２４．車両の内部の１つ又は複数の画像を取得することであって、１つ又は複数の画像が、車両に関連付けられた１つ又は複数の視覚ランドマークを示す、ことと、１つ又は複数の画像に基づいて車両テンプレートを生成することであって、車両テンプレートが、１つ又は複数の視覚ランドマークを記述する、こととを更に含む、態様１０２から１２３のいずれかに記載の方法。

【0449】

[0463] 態様１２５．車両テンプレートをモバイルデバイスに送信することと、モバイルデバイスから、車両テンプレートにおいて定義された１つ又は複数の座標に対する乗員の姿勢を受信することとを更に含み、１つ又は複数の座標は、１つ又は複数の視覚ランドマークに対するものであり、車両の座標系に対応する、態様１２４に記載の方法。

【0450】

[0464] 態様１２６．モバイルデバイスから、乗員の状態を示すデータを受信することを更に含み、車両の１つ又は複数の機能を制御することが、乗員の姿勢及び乗員の状態を示すデータに基づいて車両の１つ又は複数の機能を制御することを含む、態様１２５に記載の方法。

【0451】

[0465] 態様１２７．車両の座標系に対する乗員の姿勢に少なくとも部分的に基づいて、出力を生成することであって、出力が、車両の１つ又は複数の機能を修正する命令、及び乗員の更新された状態のうちの少なくとも１つを含む、態様１２６に記載の方法。

【0452】

[0466] 態様１２８．車両の１つ又は複数の機能は、車両の１つ又は複数の機能及び車両の１つ又は複数の自律車両システムのうちの少なくとも１つを制御するように構成された車両のコンピュータシステムを介して制御される、態様１０２から１２８のいずれかに記載の方法。

【0453】

[0467] 態様１２９．モバイルデバイスがウェアラブル拡張現実デバイスを含む、態様１０２から１２８のいずれかに記載の方法。

【0454】

[0468] 態様１３０．モバイルデバイスがヘッドマウントディスプレイを備える、態様１０２から１２９のいずれかに記載の方法。

【0455】

[0469] 態様１３１．乗員の障害は、車両を安全に操作する乗員の能力に悪影響を与える任意のイベント、活動、注意散漫、状態、属性、挙動、及び／又は条件を含む、態様１１９から１２１のいずれかに記載の方法。

【0456】

[0470] 態様１３２．装置であって、メモリと、メモリに結合された１つ又は複数のプロセッサと、を備え、１つ又は複数のプロセッサが、態様１０２から１３１のいずれかに記載の方法を実行するように構成されている、装置。

【0457】

[0471] 態様１３３．態様１０２から１３１のいずれかに記載の方法を実行する手段を備える装置。

【0458】

[0472] 態様１３４．１つ又は複数のプロセッサによって実行されたとき、１つ又は複数のプロセッサに態様１０２から１３１のいずれかに記載の方法を実施させる命令を記憶した非一時的コンピュータ可読媒体。

【0459】

[0473] 態様１３５．車両の乗員に関連付けられたデバイスに車両データを提供するための方法であって、方法が、車両のコンピュータシステムに接続された拡張現実（ＡＲ）デバイスから要求を受信することと、要求に応答して、車両の１つ又は複数のセンサに関連付けられたデータをＡＲデバイスに送信することとを含む方法。

【0460】

[0474] 態様１３６．データは、車両のコンテキストを示す車両データを含み、車両のコンテキストは、車両の状態、及び車両が遭遇した、又は車両の１つ又は複数の動作中に発生すると判定された１つ又は複数のイベントのうちの少なくとも１つを含む、態様１３５に記載の方法。

【0461】

[0475] 態様１３７．１つ又は複数のイベントが、車両の経路内のオブジェクトの存在又は車両の経路への閾値近接度、車両の経路に関連付けられた交通規制、並びに車両が速度制限及び車線区分線のうちの少なくとも１つ内に留まらなかったこと、のうちの少なくとも１つを含む、態様１３６に記載の方法。

【0462】

[0476] 態様１３８．車両の経路内のオブジェクト又は車両の経路に対する閾値近接度が、歩行者、動物、及び別の車両のうちの少なくとも１つを含む、態様１３７に記載の方法。

【0463】

[0477] 態様１３９．ＡＲデバイスに、車両の座標系に対するＡＲデバイスの姿勢及び１つ又は複数のイベントのそれぞれのロケーションのうちの少なくとも１つに対するロケーションにおける提示のための表示データを送信することを更に含み、ディスプレイデータが車両データの少なくとも一部を含む、態様１３６に記載の方法。

【0464】

[0478] 態様１４０．ＡＲデバイスに、１つ又は複数のイベントのそれぞれのロケーションの指標を送信することを更に含む、態様１３９に記載の方法。

【0465】

[0479] 態様１４１．車両の座標系に対するＡＲデバイスの姿勢を判定するための車両テンプレートをＡＲデバイスに送信することを更に含み、車両テンプレートが車両の内部の１つ又は複数のマーカを記述する、態様１３５から１４０のいずれかに記載の方法。

【0466】

[0480] 態様１４２．１つ又は複数のマーカが、車両の内部内のエリア及び車両の内部に取り付けられたオブジェクトのうちの少なくとも一方の視覚パターン、車両の内部の要素、車両の内部内の表面、並びに車両の内側の照明されたオブジェクトのうちの少なくとも１つを含む、態様１４１に記載の方法。

【0467】

[0481] 態様１４３．ＡＲデバイスから、車両の座標系に対するＡＲデバイスの姿勢を受信するステップを更に含む、態様１４１に記載の方法。

【0468】

[0482] 態様１４４．１つ又は複数のセンサに関連付けられたデータ及び車両の座標系に対するＡＲデバイスの姿勢のうちの少なくとも１つに基づいて、車両に関連付けられた仮想コンテンツのコンピュータシステムによる提示を制御することを更に含む、態様１４３に記載の方法。

【0469】

[0483] 態様１４５．仮想コンテンツの提示を制御することは、車両の座標系に対するＡＲデバイスの姿勢に基づいて、車両の１つ又は複数の画像センサからのライブコンテンツフィードをＡＲデバイスに提供することを含む、態様１４４に記載の方法。

【0470】

[0484] 態様１４６．ライブコンテンツフィードを提供することは、車両の座標系に対するＡＲデバイスの姿勢及び車両イベントに対する車両の位置に基づいて、車両イベントに対するＡＲデバイスの姿勢を判定することと、車両イベントに対するＡＲデバイスの姿勢に基づいて、コンピュータシステム及びＡＲデバイスのうちの少なくとも１つに関連付けられた仮想コンテンツが、ＡＲデバイスの視野内で車両イベントを少なくとも部分的に遮ることを判定することとを含む、態様１４５に記載の方法。

【0471】

[0485] 態様１４７．仮想コンテンツの提示を制御することは、コンピュータシステムによってレンダリングされた仮想コンテンツアイテムのロケーションを車両の座標系に対する車両イベントのロケーションに関連付けることと、車両の座標系に対する仮想コンテンツのロケーションと車両イベントのロケーションとの関連付けに基づいて仮想コンテンツアイテムをフィルタリング又は修正することとを含む、態様１４４に記載の方法。

【0472】

[0486] 態様１４８．仮想コンテンツアイテムをフィルタリング又は修正することが、仮想コンテンツアイテムの１つ又は複数の特性を修正することであって、１つ又は複数の特性が、透明度、サイズ、仮想コンテンツアイテムのロケーション、及び輝度レベルのうちの少なくとも１つを含む、ことを含む、態様１４７に記載の方法。

【0473】

[0487] 態様１４９．仮想コンテンツアイテムをフィルタリング又は修正することが、車両の乗員の視線を受信することと、乗員の視線及び車両イベントのロケーションに基づいて、乗員に対する車両イベントの可視性を判定することと、乗員に対する車両イベントの可視性に更に基づいて、仮想コンテンツアイテムをフィルタリング又は修正することとを含む、態様１４７に記載の方法。

【0474】

[0488] 態様１５０．仮想コンテンツの提示を制御することは、車両の乗員の視線を受信することと、車両の乗員の視線の方向内に仮想コンテンツをレンダリングすることとを含む、態様１４４に記載の方法。

【0475】

[0489] 態様１５１．仮想コンテンツをレンダリングすることは、車両イベント、車両イベントのロケーション、及び車両イベントの方向のうちの少なくとも１つの仮想インジケータを備える仮想コンテンツオーバーレイをレンダリングすることを含む、態様１５０に記載の方法。

【0476】

[0490] 態様１５２．仮想コンテンツをレンダリングすることが、仮想コンテンツの１つ又は複数の特性を修正することであって、１つ又は複数の特性が、透明度、サイズ、仮想コンテンツのロケーション、及び輝度レベルのうちの少なくとも１つを含む、ことを含む、態様１５１に記載の方法。

【0477】

[0491] 態様１５３．１つ又は複数のディスプレイデバイスに、車両の動作に関する情報を提供する仮想コンテンツアイテムを表示する命令を送信することを更に含み、命令が、乗員の視野内にある車両内のロケーションに対する仮想コンテンツアイテムの配置を示す、態様１３５から１５２のいずれかに記載の方法。

【0478】

[0492] 態様１５４．仮想コンテンツアイテムは、コンピュータシステムによって検出された車両イベントの第１の指標、車両のコンテキストの第２の指標、及び車両のコンテキストに関連付けられた警報のうちの少なくとも１つを含む、態様１５３に記載の方法。

【0479】

[0493] 態様１５５．車両上のカメラデバイスからカメラフィードを受信することと、表示のためにカメラフィードの少なくとも一部をＡＲデバイスに送信することとを更に含む、態様１３５から１５４のいずれかに記載の方法。

【0480】

[0494] 態様１５６．乗員の状態の指標をＡＲデバイスに送信することを更に含む、態様１３５から１５５のいずれかに記載の方法。

【0481】

[0495] 態様１５７．乗員の状態が、車両を操作することに関する乗員の障害を含む、態様１５６に記載の方法。

【0482】

[0496] 態様１５８．障害は、車両の動作及び車両に関連付けられたイベントのうちの少なくとも１つに関する注意散漫状態、中毒状態、健康状態、覚醒状態、検出された感情状態、車両を制御するための障害位置、及び障害視界のうちの少なくとも１つを含む、態様１５７に記載の方法。

【0483】

[0497] 態様１５９．乗員の障害に基づいて車両の動作を制御することを更に含む、態様１５７に記載の方法。

【0484】

[0498] 態様１６０．乗員の障害に基づいて表示データを生成することを更に含み、表示データは、車両イベント及び車両計装データのうちの少なくとも１つを含む、態様１５７に記載の方法。

【0485】

[0499] 態様１６１．乗員の障害に基づいて表示データをＡＲデバイスに送信することを更に含み、表示データは、車両イベント及び車両計装データのうちの少なくとも１つを含む、態様１５７に記載の方法。

【0486】

[0500] 態様１６２．コンピュータシステムは、車両の１つ又は複数の自律機能及び車両の１つ又は複数の自律車両システムのうちの少なくとも１つを制御するように構成される、態様１３５から１６１のいずれかに記載の方法。

【0487】

[0501] 態様１６３．ＡＲデバイスがヘッドマウントディスプレイを備える、態様１３５から１６２のいずれかに記載の方法。

【0488】

[0502] 態様１６４．ＡＲデバイスがウェアラブルＡＲデバイスを備える、態様１３５から１６３のいずれかに記載の方法。

【0489】

[0503] 態様１６５．乗員の障害は、車両を安全に操作する乗員の能力に悪影響を与える任意のイベント、活動、注意散漫、状態、属性、挙動、及び／又は条件を含む、態様１５７又は１５８のいずれかに記載の方法。

【0490】

[0504] 態様１６６．装置であって、メモリと、メモリに結合された１つ又は複数のプロセッサと、を備え、１つ又は複数のプロセッサが、態様１３５から１６５のいずれかに記載の方法を実行するように構成されている、装置。

【0491】

[0505] 態様１６７．態様１３５から１６５のいずれかに記載の方法を実行する手段を備える装置。

【0492】

[0506] 態様１６８．１つ又は複数のプロセッサによって実行されたとき、１つ又は複数のプロセッサに態様１３５から１６５のいずれかに記載の方法を実施させる命令を記憶した非一時的コンピュータ可読媒体。

【0493】

[0507] 態様１６９．方法であって、車両の内部の１つ又は複数の画像に基づいて、車両の座標系に対するモバイルデバイスの位置を判定することを含む、方法。方法は、車両から、車両の１つ又は複数のセンサに関連付けられたデータを受信することと、装置のディスプレイデバイスを使用して、１つ又は複数のセンサに関連付けられたデータと、車両の座標系に対する装置の位置とに基づいて、仮想コンテンツを表示することとを更に含むことができる。追加又は代替として、方法は、車両の乗員の状態を判定することと、乗員の状態及び車両の座標系に対するモバイルデバイスの位置を示すデータを車両に送信することと、を更に含むことができる。

【0494】

[0508] 態様１７０．態様２８から５２及び／又は態様７８から９９のいずれかに記載の方法を更に含む、態様１６９に記載の方法。

【0495】

[0509] 態様１７１．装置であって、メモリと、メモリに結合された１つ又は複数のプロセッサと、を備え、１つ又は複数のプロセッサが、態様１６９又は１７０に記載の方法を実行するように構成されている、装置。

【0496】

[0510] 態様１７２．態様１６９又は１７０に記載の方法を実行する手段を備える装置。

【0497】

[0511] 態様１７３．１つ又は複数のプロセッサによって実行されたとき、１つ又は複数のプロセッサに態様１６９又は１７０に記載の方法を実施させる命令を記憶した非一時的コンピュータ可読媒体。

【0498】

[0512] 態様１７４．方法であって、車両の内部の１つ又は複数の画像に基づいて、車両の座標系に対するモバイルデバイスの位置を判定することを含む、方法。方法は、車両の乗員の状態を判定することと、乗員の状態及び車両の座標系に対するモバイルデバイスの位置を示すデータを車両に送信することと、を更に含むことができる。追加又は代替として、方法は、車両から、車両の１つ又は複数のセンサに関連付けられたデータを受信することと、装置のディスプレイデバイスを使用して、１つ又は複数のセンサに関連付けられたデータと、車両の座標系に対する装置の位置とに基づいて、仮想コンテンツを表示することとを更に含むことができる。

【0499】

[0513] 態様１７５．態様２８から５２及び／又は態様７８から９９のいずれかに記載の方法を更に含む、態様１７４に記載の方法。

【0500】

[0514] 態様１７６．装置であって、メモリと、メモリに結合された１つ又は複数のプロセッサと、を備え、１つ又は複数のプロセッサが、態様１７４又は１７５に記載の方法を実行するように構成されている、装置。

【0501】

[0515] 態様１７７．態様１７４又は１７５に記載の方法を実行する手段を備える装置。

【0502】

[0516] 態様１８０．１つ又は複数のプロセッサによって実行されたとき、１つ又は複数のプロセッサに態様１７４又は１７５に記載の方法を実施させる命令を記憶した非一時的コンピュータ可読媒体。

【0503】

[0517] 態様１８１．方法であって、車両の乗員に関連付けられたモバイルデバイスから、車両の座標系に対する乗員の姿勢を受信することと、車両の座標系に対する乗員の姿勢に基づいて、車両の１つ又は複数の機能を制御することとを含む、方法。追加又は代替として、方法は、車両のコンピュータシステムに接続された拡張現実（ＡＲ）デバイスから要求を受信することと、要求に応答して、車両の１つ又は複数のセンサに関連付けられたデータをＡＲデバイスに送信することとを更に含むことができる。

【0504】

[0518] 態様１８２．態様１０２から１３１のいずれか、及び／又は態様１３５から１６５のいずれかに記載の方法を更に含む、態様１８１に記載の方法。

【0505】

[0519] 態様１８３．装置であって、メモリと、メモリに結合された１つ又は複数のプロセッサと、を備え、１つ又は複数のプロセッサが、態様１８１又は１８２に記載の方法を実行するように構成されている、装置。

【0506】

[0520] 態様１８４．態様１８１又は１８２に記載の方法を実行する手段を備える装置。

【0507】

[0521] 態様１８５．１つ又は複数のプロセッサによって実行されたとき、１つ又は複数のプロセッサに態様１８１又は１８２に記載の方法を実施させる命令を記憶した非一時的コンピュータ可読媒体。

【0508】

[0522] 態様１８６．方法であって、車両のコンピュータシステムに接続された拡張現実（ＡＲ）デバイスから要求を受信することと、要求に応答して、車両の１つ又は複数のセンサに関連付けられたデータをＡＲデバイスに送信することとを含む、方法。追加又は代替として、方法は、車両の乗員に関連付けられたモバイルデバイスから、車両の座標系に対する乗員の姿勢を受信することと、車両の座標系に対する乗員の姿勢に基づいて、車両の１つ又は複数の機能を制御することとを更に含むことができる。

【0509】

[0523] 態様１８７．態様１０２から１３１のいずれか、及び／又は態様１３５から１６５のいずれかに記載の方法を更に含む、態様１８６に記載の方法。

【0510】

[0524] 態様１８３．装置であって、メモリと、メモリに結合された１つ又は複数のプロセッサと、を備え、１つ又は複数のプロセッサが、態様１８６又は１８７に記載の方法を実行するように構成されている、装置。

【0511】

[0525] 態様１８４．態様１８６又は１８７に記載の方法を実行する手段を備える装置。

【0512】

[0526] 態様１８５．１つ又は複数のプロセッサによって実行されたとき、１つ又は複数のプロセッサに態様１８６又は１８７に記載の方法を実施させる命令を記憶した非一時的コンピュータ可読媒体。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6A】

【図6B】

【図6C】

【図6D】

【図6E】

【図7A】

【図7B】

【図7C】

【図7D】

【図7E】

【図7F】

【図7G】

【図7H】

【図7I】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【国際調査報告】