ホーム > 特許ランキング > ロボレース リミテッド
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-07-25
(54)【発明の名称】メタバースデータフュージョンシステム
(51)【国際特許分類】
G06Q 10/06 20120101AFI20220715BHJP
B60W 50/00 20060101ALI20220715BHJP
B60W 60/00 20200101ALI20220715BHJP
G06Q 50/10 20120101ALI20220715BHJP
【ＦＩ】
G06Q10/06
B60W50/00
B60W60/00
G06Q50/10
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021568425
(86)(22)【出願日】2020-05-15
(85)【翻訳文提出日】2022-01-07
(86)【国際出願番号】 GB2020051198
(87)【国際公開番号】W WO2020229841
(87)【国際公開日】2020-11-19
(31)【優先権主張番号】1906813.9
(32)【優先日】2019-05-15
(33)【優先権主張国・地域又は機関】GB
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．３ＧＰＰ
(71)【出願人】
【識別番号】521497969
【氏名又は名称】ロボレース リミテッド
(74)【代理人】
【識別番号】100123858
【弁理士】
【氏名又は名称】磯田 志郎
(72)【発明者】
【氏名】ソコロフ，ミハイル
(72)【発明者】
【氏名】バルコンベ，ブリン
【テーマコード（参考）】
3D241
5L049
【Ｆターム（参考）】
3D241BA49
3D241BA62
5L049AA06
5L049CC18
(57)【要約】
現実世界のビークルは、現実世界の領域に空間マッピングされるセンサデータを生成する複数のデータソースを含み、データフュージョンシステムが、（ｉ）空間マッピングされるセンサデータを、（ｉｉ）ビークル外で生成されたか、またはビークルの動作とは独立に生成され、仮想世界に空間マッピングされる仮想データと、融合させるかまたは統合するように構成されている。これにより、自動運転車が物理的な世界だけでなく、（例えば、試験エンジニアまたは開発エンジニアによって）車の経路に導入された仮想オブジェクトにも相互作用して、車およびその自律型運転システムが仮想オブジェクトにどのくらい良好に対処するかを試験することを可能にする、現実世界および仮想世界の融合を可能にする。
【選択図】図９
【選択図】図９
【特許請求の範囲】
【請求項1】
現実世界のビークルで使用するためのデータフュージョンシステムであって、前記ビークルが、現実世界の領域に空間マッピングされるセンサデータを生成する複数のデータソースを含み、前記データフュージョンシステムが、（ｉ）前記空間マッピングされるセンサデータを、（ｉｉ）前記ビークル外で生成されたか、または前記ビークルの内外を問わず、前記ビークルもしくは前記ビークルの動作とは独立に生成され、また仮想世界に空間マッピングされる仮想データと、融合させるかまたは統合するように構成されている、データフュージョンシステム。データフュージョン
【請求項2】
制御データを生成するデータソースがあり、前記データフュージョンシステムが、前記制御データおよび前記センサデータを、前記仮想データと融合させるかまたは統合するようにさらに構成されている、請求項１に記載のデータフュージョンシステム。
【請求項3】
融合されたかまたは統合された（ｉ）センサデータおよび／または制御データならびに（ｉｉ）前記仮想データが、前記融合されたかまたは統合されたデータ入力に依存して前記ビークルを制御する現実世界のビークル制御システムに供給される、先行請求項のいずれか一項に記載のデータフュージョンシステム。
【請求項4】
前記ビークルが、前記融合されたかまたは統合された（ｉ）センサデータおよび／または制御データならびに（ｉｉ）前記仮想データに、自律的に応答するように構成される、先行請求項のいずれか一項に記載のデータフュージョンシステム。
【請求項5】
前記ビークル制御システムによって生成されたデータが、（ｉ）前記センサデータおよび／または制御データならびに（ｉｉ）前記仮想データと、融合されるかまたは統合されている、先行請求項のいずれか一項に記載のデータフュージョンシステム。
【請求項6】
データ融合または統合が、ほぼゼロ待ち時間で行われる、先行請求項のいずれか一項に記載のデータフュージョンシステム。
【請求項7】
データハンドリングコンポーネント（「データ注入器」）が、（ｉ）前記仮想データをハンドリングすること、（ｉｉ）前記仮想データが前記センサデータおよび／または制御データと融合され得るか、マージされ得るか、または統合され得るように、前記センサデータおよび／または制御データをハンドリングするビークルサブシステムに前記仮想データを渡すこと、のいずれかの機能を実行する、先行請求項のいずれか一項に記載のデータフュージョンシステム。世界モデル
【請求項8】
前記（ｉ）センサデータおよび／または制御データならびに（ｉｉ）前記仮想データを、単一の世界モデルに融合させるかまたは統合する、先行請求項のいずれか一項に記載のデータフュージョンシステム。
【請求項9】
前記単一の世界モデルが、（ｉ）前記センサデータおよび／または制御データと、（ｉｉ）前記仮想データとの任意の差異を調整するグローバル状態の単一の統一された表現である融合された空間マッピングされる世界である、請求項８に記載のデータフュージョンシステム。
【請求項10】
（ｉ）空間マッピングされる現実世界の領域を含む１つ以上の現実世界のソースと、（ｉｉ）前記現実世界の領域に対応する空間マッピングされる仮想世界の領域を含む１つ以上の仮想世界のソースと、から生成された世界モデルを使用する、請求項８または９に記載のデータフュージョンシステム。
【請求項11】
前記世界モデルが、（ｉ）完全に前記ビークル内にあるか、または（ｉｉ）ビークル内メモリと前記ビークルの外部のメモリとの間で分散されているか、または（ｉｉｉ）完全に前記ビークル外にあるメモリに、常駐するかまたは記憶されている、請求項８～１０のいずれか一項に記載のデータフュージョンシステム。
【請求項12】
前記世界モデルが、オブジェクト、条件、およびイベント、のうちの１つ以上を含み、オブジェクトは、前記現実世界および前記仮想世界の空間マッピングされる要素またはものを指定し、条件は、前記現実世界および前記仮想世界の空間マッピングされる領域の周辺環境を特徴付け、イベントは、定義された状況でオブジェクトがどのように挙動するかまたは反応するかを指定する、請求項８～１１のいずれか一項に記載のデータフュージョンシステム。
【請求項13】
前記世界モデル内のオブジェクトの次の最も可能性が高い状態を予測する、請求項８～１２のいずれか一項に記載のデータフュージョンシステム。
【請求項14】
前記世界モデル内のオブジェクトの前記次の最も可能性が高い状態が、デッドレコニングと、数学的外挿の方法と、カルマンフィルタリングと、深層学習推論と、ビークルタイヤ動力学のパチェカモデル、または未知の環境での自己位置推定のためのＳＬＡＭのような、特定の問題解決方法と、の手法のうちの１つ以上を使用して予測される、請求項８～１３のいずれか一項に記載のデータフュージョンシステム。
【請求項15】
前記データフュージョンシステムが、前記次の最も可能性が高い状態のリアルタイムデータ処理および計算を実行するが、ローカル世界モデルを修正するかまたは形成するアクションに一時的に関与するオブジェクトに対してのみ実行する、請求項８～１４のいずれか一項に記載のデータフュージョンシステム。仮想世界
【請求項16】
前記空間マッピングされる仮想データが、空間マッピングされる仮想世界内で生成される、先行請求項のいずれか一項に記載のデータフュージョンシステム。
【請求項17】
前記仮想世界が、前記ビークルの外部のシステムで作成され、前記ビークルとは独立に制御され、前記ビークルまたは前記ビークル内の任意のセンサまたは制御システムによって生成されない、請求項１６に記載のデータフュージョンシステム。
【請求項18】
前記仮想世界が、完全に前記ビークルの外部に存在し、同じ空間マッピングを共有するか、またはそうでなければ（ｉ）完全に前記ビークル内にあるか、もしくは（ｉｉ）前記ビークル内メモリと前記ビークルの外部のメモリとの間で分散されるか、もしくは（ｉｉｉ）完全に前記ビークル外にあるメモリに常駐するかもしくは記憶された前記世界モデルに対応する、請求項１６または１７に記載のデータフュージョンシステム。
【請求項19】
前記仮想データが、前記ビークルが移動するかまたは動作する世界を少なくとも部分的にミラーリングしたデータであるか、前記世界と空間的に一致するデータであるか、または前記世界に空間的に関連するデータを含む、請求項１６～１８のいずれか一項に記載のデータフュージョンシステム。
【請求項20】
前記仮想データが、イベント、条件、またはオブジェクトのうちの１つ以上を含み、前記イベント、条件、またはオブジェクトは、それらが実際の現実世界のイベント、条件、またはオブジェクトであるかのように前記ビークル内センサが反応するように現れるか、または前記ビークル内センサのうちのいくつかもしくはすべてからのデータと融合されるデータを提供する、請求項１６～１９のいずれか一項に記載のデータフュージョンシステム。
【請求項21】
前記仮想データが、イベント、条件、またはオブジェクトのうちの１つ以上を含み、前記イベント、条件、またはオブジェクトは、それらが前記ビークル内センサのうちのいくつかまたはすべてによって検出された実際のイベント、条件、またはオブジェクトであるかのように、現実世界のビークル制御システムに現れる、請求項１６～２０のいずれか一項に記載のデータフュージョンシステム。
【請求項22】
前記仮想データが、イベント、条件、またはオブジェクトのうちの１つ以上を含み、前記イベント、条件、またはオブジェクトが、前記現実世界のビークル制御または計画および制御システムが前記イベント、条件、またはオブジェクトにどのくらい効果的に反応するかを試験するために追加される、請求項１６～２１のいずれか一項に記載のデータフュージョンシステム。
【請求項23】
前記仮想データが、仮想人物、円すい形標識、障壁、標識、建物、または他のビークルなどの、前記ビークルが回避しなければならないオブジェクトを含む、請求項１６～２２に記載のデータフュージョンシステム。
【請求項24】
前記仮想データが、雨、霧、氷、段差のある路面などの、前記ビークルが反応しなければならないオブジェクトおよび／または条件を含む、請求項１６～２３のいずれか一項に記載のデータフュージョンシステム。
【請求項25】
前記仮想データが、ルート経路、交差点、出入口などの、前記ビークルが通過しなければならないオブジェクトまたは戦利品を含む、請求項１６～２４のいずれか一項に記載のデータフュージョンシステム。
【請求項26】
前記仮想データが、レース、ゲーム、または競技でポイントを獲得するために前記ビークルが通過しなければならないオブジェクトまたは戦利品を含む、請求項１６～２５のいずれか一項に記載のデータフュージョンシステム。
【請求項27】
前記仮想データが、レース、ゲーム、または競技でポイントを獲得するために前記ビークルが通過しなければならないオブジェクトまたは戦利品を含み、これらが、仮想人物、障壁、標識、または他のビークルなどの、前記ビークルが回避しなければならない仮想または現実のオブジェクトの近くに配置される、請求項１６～２６のいずれか一項に記載のデータフュージョンシステム。
【請求項28】
前記仮想データが、ｅスポーツストリーミング、テレビ、ゲーム、映画などのメディアエンターテインメントの一部を形成するためのオブジェクトもしくは戦利品および／または条件を含む、請求項１６～２７のいずれか一項に記載のデータフュージョンシステム。
【請求項29】
前記仮想データが、ビークル試験または開発プログラムの一部を形成するためのオブジェクトおよび／または条件のうちの１つ以上を含む、請求項１６～２８のいずれか一項に記載のデータフュージョンシステム。現実世界
【請求項30】
他のビークル、ロボット、ドローン、および人物の現実世界の位置、ローカル地形、ビークルが走行しているルートまたは道路、交通信号の任意の状態、時刻、天候条件、道路のタイプ、天候、駐車場の位置、および車庫、のいずれかを含むデータを処理する、先行請求項のいずれか一項に記載のデータフュージョンシステム。エージェント
【請求項31】
前記世界モデルに追加されるかまたは注入されたオブジェクトまたはイベントまたは条件を追跡することを担うエージェントを使用する、先行請求項のいずれか一項に記載のデータフュージョンシステム。
【請求項32】
エージェントが、各エージェントの状態および挙動に関連するオブジェクト、イベント、または条件を追跡する独自のローカル世界モデルを有する、請求項３１に記載のデータフュージョンシステム。
【請求項33】
エージェントが、他のエージェントと前記エージェントの状態および挙動を共有する、請求項３１または３２に記載のデータフュージョンシステム。
【請求項34】
前記エージェントが、前記世界モデルに追加されるかまたは注入されたオブジェクト、イベント、および条件を追跡することを担う、請求項３１～３３のいずれか一項に記載のデータフュージョンシステム。
【請求項35】
前記エージェントが、エラーをハンドリングすることを担う、請求項３１～３４のいずれか一項に記載のデータフュージョンシステム。
【請求項36】
単一のエージェントが、単一の仮想ビークルに対応するか、または単一の仮想ビークルを表す、請求項３１～３５のいずれか一項に記載のデータフュージョンシステム。
【請求項37】
世界モデルが、複数の仮想ビークルを含むマルチエージェントシステムを含む、請求項３１～３６のいずれか一項に記載のデータフュージョンシステム。データ配信フレームワーク
【請求項38】
ＯＭＧ ＤＤＳフレームワークなどの分散型データ中心アーキテクチャを使用して、センサデータ、制御データ、および前記仮想データのうちの１つ以上をハンドリングするかまたは転送する、先行請求項のいずれか一項に記載のデータフュージョンシステム。
【請求項39】
トンネリングＤＤＳデータパケットが、産業用Ｍ２Ｍ（マシン間）プロトコル、Ｖ２Ｘ（ビークル万物間）、ＣＡＮ、ＦｌｅｘＲａｙなどを含むが、これらに限定されない非ＩＰネットワークを介してトンネリングされる、請求項３８に記載のデータフュージョンシステム。
【請求項40】
データ配信フレームワークは、ビークル万物間（Ｖ２Ｘ）通信のプロトコルのブーストされたスタックを伴う接続方法を提供し、前記スタックが、１０ミリ秒ごとの頻度でメッセージをブロードキャストする能力、Ｖ２Ｘ無線を介して通常のＶ２Ｘシステムに透過的に信号伝達し、かつ前記Ｖ２Ｘシステムに影響を与えないことを可能にする、拡張メッセージ形式、ＩＥＥＥ ８０２．１１ｐおよび３ＧＰＰ Ｃ－Ｖ２Ｘを介したＤＤＳトンネリング、通常のＶ２Ｘシステムへの任意の透過的なＵＤＰおよびＴＣＰ接続のためのＶ２Ｘ無線を介した、ユニバーサルなオーバーザトップ（ＯＴＴ）データ伝送、という特徴のうちの１つ以上を有する既存のＶ２Ｘシステムの能力および性能を拡張する、請求項３８または３９に記載のデータフュージョンシステム。データ注入フレームワーク
【請求項41】
人工仮想データの通常のデータへの注入を可能にする様々な制御システムおよびセンサシステムのためのリアルタイムデータ注入器を構築および展開するための標準的な方法を提供するように設計された再利用可能なソフトウェアおよびハードウェアコンポーネントの拡張可能なツールキットを使用する、先行請求項のいずれか一項に記載のデータフュージョンシステム。
【請求項42】
ＯＭＧデータ配信サービスのためのデータ注入ロジックを提供する、請求項４１に記載のデータフュージョンシステム。
【請求項43】
ビークル万物間（Ｖ２Ｘ）通信のためのデータ注入ロジックを提供する、請求項４１または４２に記載のデータフュージョンシステム。
【請求項44】
測定および較正システムをビークルＥＣＵに接続する自動車の「汎用測定および較正プロトコル」（例えば、ＡＳＡＭ ＭＣＤ－１ ＸＣＰ）のためのデータ注入ロジックを提供する、請求項４１～４３のいずれか一項に記載のデータフュージョンシステム。データ注入器
【請求項45】
仮想オブジェクト、条件、またはイベント、という仮想データのいずれかを表すデータを取り込むためのプラグインコンポーネントである、データ注入器を含む、先行請求項のいずれか一項に記載のデータフュージョンシステム。
【請求項46】
データ注入器が、現実世界のセンサデータおよび／または制御データと融合される仮想データを供給するかまたは提供する、請求項４５に記載のデータフュージョンシステム。
【請求項47】
前記データ注入器が、（ｉ）前記仮想データ、または（ｉｉ）前記融合されたかもしくは統合された仮想データならびにセンサデータおよび／もしくは制御データを、現実データまたは現実世界のデータと同等なデータとして処理する現実世界のビークル制御システムにデータを提供する、請求項４５または４６に記載のデータフュージョンシステム。
【請求項48】
前記データ注入器が、データサンプリングレートおよび解像度を互いに独立に維持する、請求項４５～４７のいずれか一項に記載のデータフュージョンシステム。
【請求項49】
前記データ注入器が、データ注入器コンポーネントの自己組織化されたメッシュネットワークにおける計算のコヒーレンシを維持する、請求項４５～４８のいずれか一項に記載のデータフュージョンシステム。
【請求項50】
センサデータを処理するための前記データ注入器が、レーダ、ＬＩＤＡＲ、超音波、コンピュータビジョン、および立体視カメラを含むがこれらに限定されない、ロボットおよび自動車で使用される様々なタイプのセンサに専用に設計されている、請求項４５～４９のいずれか一項に記載のデータフュージョンシステム。
【請求項51】
前記センサデータが、２Ｄシリアル画像を出力する任意のセンサを含む画像ベースのセンサ信号、ＬＩＤＡＲ、コンピュータビジョンシステム、および立体カメラからのデータを含むポイントクラウドに基づくセンサ信号、超音波センサ、レーダ、温度、および速度センサを含むシリアルデータに基づくセンサ信号を含む、請求項５０に記載のデータフュージョンシステム。表現フレームワーク
【請求項52】
ユーザインターフェース、ならびに／または対話型プラットフォームおよび／もしくは対話型デバイスを介してエンドユーザに仮想世界の没入型表現を提供する再利用可能なソフトウェア統合アダプタの拡張可能なツールキットである、表現フレームワークを含む、先行請求項のいずれか一項に記載のデータフュージョンシステム。
【請求項53】
前記表現フレームワークが、シングルスクリーンビデオディスプレイまたはマルチスクリーンビデオディスプレイ、モバイル端末およびリモートコントローラ、ＶＲ／ＡＲヘッドセット、ユーザモーショントラッカ、ダイレクトマニピュレーションインターフェースおよびタンジブルインターフェースを含むが、これらに限定されない、ユーザインターフェースとの統合が可能である、請求項５２に記載のデータフュージョンシステム。
【請求項54】
前記表現フレームワークが、多層構造の世界モデル表現を有するソフトウェア統合ツールキットを含み、オブジェクトの様々な特性が、特定の表現層への親和性を有し、これらの層の各々を、特定のユーザインターフェースコンポーネントおよびそれぞれのデバイスによって供される特定の表現方法に割り当てることができる、請求項５２または５３に記載のデータフュージョンシステム。
【請求項55】
基本表現層が、現実世界のビークルレーストラックに設置されたカメラから伝送され、かつ様々な視点を与える、ビデオストリームのセットであり、この基本層の上に、様々なメディアチャネルのための仮想オブジェクトを視覚化する１つ以上の表現層またはオーバーレイがあり、これらの仮想オーバーレイは、現実オブジェクトと仮想オブジェクトとを組み合わせるブレンドされたシーンが生じるように、適切なツール、デバイス、およびユーザインターフェースを使用して基礎となるビデオストリームに適用される、請求項５４に記載のデータフュージョンシステム。ビークル制御
【請求項56】
ステアリング、ブレーキ、加速度計などのビークル内のシステムを制御するかまたは作動させ、かつ現実世界の計画および制御システムがデータフュージョンシステムから入力を取得する、現実世界の自動運転システム（ＡＤＳ）計画および制御システム（「ＡＤＳ計画および制御層」）を含むビークルとともに機能するように構成されている、先行請求項のいずれか一項に記載のデータフュージョンシステム。
【請求項57】
前記ビークルが、現実世界のデータを処理するローカル世界モデルを生成するＡＤＳを含み、前記ＡＤＳが、入力データを前記データフュージョンシステムに提供し、次に前記データフュージョンシステムが、前記入力データを現実世界の計画および制御システムに提供する、請求項５６に記載のデータフュージョンシステム。
【請求項58】
ＡＤＳのローカル世界モデルが、外部世界モデルまたは仮想世界にデータを送信し、ＡＤＳ計画および制御層が、前記外部世界モデルまたは仮想世界からデータを受信する、請求項５６または５７に記載のデータフュージョンシステム。
【請求項59】
前記ＡＤＳの前記ローカル世界モデルが、前記ＡＤＳの埋め込み部分またはサブシステムである世界モデルにデータを送信し、前記ＡＤＳ計画および制御層が、前記世界モデルからデータを受信する、請求項５６～５８のいずれか一項に記載のデータフュージョンシステム。
【請求項60】
前記ＡＤＳの前記ローカル世界モデルが、外部の世界モデルおよびさらに前記ＡＤＳの埋め込み部分またはサブシステムである世界モデルの両方にデータを送信し、前記ＡＤＳ計画および制御層が、前記両方からデータを受信する、請求項５６～５９のいずれか一項に記載のデータフュージョンシステム。
【請求項61】
前記世界モデルが、ＡＤＳに、前記ＡＤＳがその後に前記ＡＤＳの制御および計画動作時に含む仮想オブジェクト、仮想経路、仮想ルート、のいずれかを注入することを可能にする、請求項５６～６０のいずれか一項に記載のデータフュージョンシステム。
【請求項62】
前記ローカル世界モデルが、ＯＭＧ ＤＤＳデータバスまたは同様のリアルタイム通信ミドルウェアを介してデータを送信する、請求項５６～６１のいずれか一項に記載のデータフュージョンシステム。
【請求項63】
前記世界モデルの前記出力が、前記ローカル世界モデルから通常受信される前記ＡＤＳ計画および制御の予想される前記入力と一致し、このモードでは、前記ＡＤＳ計画および制御が、オブジェクトが現実であるかまたは仮想であるかを示すものを有していない、請求項５６～６２のいずれか一項に記載のデータフュージョンシステム。
【請求項64】
前記世界モデルの前記出力が、オブジェクトが現実であるかまたは仮想であるかを示す追加のフラグとともに前記ローカル世界モデルから通常受信される前記ＡＤＳ計画および制御の予想される前記入力と一致し、このモードでは、前記ＡＤＳ計画および制御システムが、この追加のオブジェクト情報を利用するように適合されている、請求項５７～６３のいずれか一項に記載のデータフュージョンシステム。ビークル
【請求項65】
車、飛行機、陸上ビークル、配送ビークル、バス、海上ビークル、ドローン、ロボット、または他の自走デバイスであるビークルとともに機能するように構成されている、先行請求項のいずれか一項に記載のデータフュージョンシステム。
【請求項66】
前記ビークルが、自律型の、車、飛行機、陸上ビークル、配送ビークル、バス、海上ビークル、ドローン、ロボット、または他の自走デバイスである、請求項６５に記載のデータフュージョンシステム。
【請求項67】
前記ビークルが、レーシングビークルである、請求項６５または６６に記載のデータフュージョンシステム。
【請求項68】
前記ビークルが、各々が異なる制御システムまたはそれらの制御システムのソフトウェアサブシステムを有するいくつかの機構的に類似したレーシングビークルのうちの１つであり、前記異なるビークルが、前記異なるビークルの各々に供給される同じ新しい仮想データに最適な様態で反応するように競争する、請求項６５～６７のいずれか一項に記載のデータフュージョンシステム。
【請求項69】
前記ビークルが、自律型の、車、飛行機、ビークル、ドローン、ロボット、またはレース中の他のビークルを撮影または記録するように構成された他の自走デバイスである、請求項６５～６８のいずれか一項に記載のデータフュージョンシステム。
【請求項70】
前記ビークルが、人間によって運転または操縦され、前記ビークルのディスプレイが、その人間の運転者または操縦者に前記仮想世界の一部またはすべてを示す、請求項６５～６９のいずれか一項に記載のデータフュージョンシステム。オーディエンスエクスペリエンス
【請求項71】
前記ビークルを特徴とするイベントの観客、視聴者、参加者、またはコントローラが、前記現実世界のビークルと、前記ビークルが相互作用するオブジェクトまたは条件などの前記仮想世界で生成された任意のものと、の両方をディスプレイで見ることを可能にするように構成されている、先行請求項のいずれか一項に記載のデータフュージョンシステム。
【請求項72】
前記ビークルを特徴とするイベントの観客、視聴者、参加者、またはコントローラが、前記現実世界のビークルと、前記ビークルが相互作用するオブジェクトまたは条件などの前記仮想世界で生成された任意のものと、の両方を、拡張現実ヘッドセットまたは眼鏡などのディスプレイで見ることを可能にするように構成されている、先行請求項のいずれか一項に記載のデータフュージョンシステム。
【請求項73】
前記ビークルを特徴とするイベントの前記観客、視聴者、参加者、またはコントローラが、前記融合された現実世界および仮想世界を通して、その融合された世界のそれらのビューを変更するようにナビゲートすることができる、請求項７１または７２に記載のデータフュージョンシステム。
【請求項74】
前記観客、視聴者、参加者、またはコントローラが、前記融合された現実世界および仮想世界を通して、それらが視聴しているか、撮影しているか、または記録しているかもしくはストリーミングしているその融合された世界の前記ビューを変更するようにナビゲートすることができる、請求項７１～７３のいずれか一項に記載のデータフュージョンシステム。
【請求項75】
前記ビークルを特徴とするイベントの前記観客、視聴者、参加者、またはコントローラが、（ａ）オブジェクトであって、前記現実世界の制御システムが前記オブジェクトにどのくらい効果的に反応するかを試験するために追加されるオブジェクト、（ｂ）仮想人物、障壁、標識、または他のビークルなどの、前記ビークルが回避しなければならないオブジェクト、のうちの任意の１つ以上を前記仮想世界で追加するかまたは制御することができる、請求項７１～７４のいずれか一項に記載のデータフュージョンシステム。
【請求項76】
前記ビークルを特徴とするイベントの前記観客、視聴者、参加者、またはコントローラが、ルート経路、出入口などの、前記ビークルが通過しなければならない前記仮想世界オブジェクトまたは戦利品を、前記仮想世界に追加するかまたは制御することができる、請求項７１～７５のいずれか一項に記載のデータフュージョンシステム。
【請求項77】
前記ビークルを特徴とするイベントの前記観客、視聴者、参加者、またはコントローラが、前記ビークルがレース、ゲーム、または競技でポイントを獲得するために通過しなければならないオブジェクトまたは戦利品を前記仮想世界で追加または制御することができる、請求項７１～７６のいずれか一項に記載のデータフュージョンシステム。
【請求項78】
前記ビークルを特徴とするイベントの前記観客、視聴者、参加者、またはコントローラが、前記ビークルがレース、ゲーム、または競技でポイントを獲得するために通過しなければならない仮想世界のオブジェクトまたは戦利品を追加するかまたは制御することができ、それらが、仮想人物、障壁、標識、または他のビークルなどの、前記ビークルが回避しなければならない仮想または現実のオブジェクトの近くに配置される、請求項７１～７７のいずれか一項に記載のデータフュージョンシステム。
【請求項79】
請求項１～７８のいずれか一項に記載のデータフュージョンシステムを含む、ビークル。
【請求項80】
ビークルを開発するか、改善するか、または試験する方法であって、前記ビークルが、請求項１～７８のいずれか一項に定義されるデータフュージョンシステムを含み、仮想オブジェクト、イベント、または条件が、前記ビークルがそれらの仮想オブジェクト、イベント、または条件にどのように応答するかを試験するために、前記データフュージョンシステムによって処理される前記仮想世界に追加される、方法。
【請求項81】
ビークルであって、請求項１～７８のいずれか一項に記載に定義される方法を使用して開発されたか、改善されたか、または試験されたビークル。ゲームまたはエンターテインメントシステム
【請求項82】
ゲームまたはエンターテインメントシステムであって、上記の請求項１～７８に定義されるデータフュージョンシステムを含むビークル、または請求項７９または８１に定義されるビークルを表示するか、または別様に特徴とする画像を生成する、ゲームまたはエンターテインメントシステム。
【請求項83】
ＡＶまたは人間が運転する現実世界のビークル、またはＡＩによって支援される人間が運転する現実世界のビークルが、現実世界の運転領域内でレースし、（ｉ）その現実世界の運転領域の仮想世界の表現と、（ｉｉ）前記現実世界のビークルに対してレースする仮想ビークルと、があり、前記現実世界のビークルが、前記仮想世界のビークルが前記現実世界に存在するかのように前記仮想ビークルに反応し、前記仮想ビークルが、前記現実世界のビークルが前記仮想世界に存在するかのように前記現実世界のビークルに反応する、請求項８２に記載のゲームまたはエンターテインメントシステム。
【請求項84】
現実世界の運転領域おける現実世界のフルサイズのビークルと、さらに、その現実世界の運転領域の仮想世界の表現と、があり、前記現実世界のビークルが、シミュレータ内のユーザ、またはＡＲもしくはＶＲヘッドセットを装着したユーザからの入力を制御するように反応する、請求項８２または８３に記載のゲームまたはエンターテインメントシステム。
【請求項85】
自動運転車が、ドライバインザループシミュレータの内部に安全に位置するｅスポーツスターによって制御される仮想車と競争する、請求項８２～８４のいずれか一項に記載のゲームまたはエンターテインメントシステム。
【請求項86】
拡張現実ディスプレイを有する人間の運転者が、ドライバインザループシミュレータの内部に安全に位置するｅスポーツスターによって制御される仮想ビークルと競争する、請求項８２～８５のいずれか一項に記載のゲームまたはエンターテインメントシステム。
【請求項87】
シミュレータ内のｅスポーツ運転者が、通信遅延に応じた操作的、戦術的、および戦略的な制御抽象化の様々なレベルで物理的な車を直接制御する、請求項８２～８６のいずれか一項に記載のゲームまたはエンターテインメントシステム。
【請求項88】
各々が異なる制御システムまたはそれらの制御システムのソフトウェアサブシステムを有する、いくつかの機構的に類似したレーシングビークルが、前記レーシングビークルの各々に供給される同じ新しい仮想データに最適な様態で反応するように互いに競争する、請求項８２～８６のいずれか一項に記載のゲームまたはエンターテインメントシステム。
【請求項89】
前記仮想データが、イベント、条件、またはオブジェクトのうちの１つ以上を含み、前記イベント、条件、またはオブジェクトは、それらが実際の現実世界のイベント、条件、またはオブジェクトであるかのように前記ビークル内センサが反応するように現れるか、または前記ビークル内センサのうちのいくつかもしくはすべてからのデータと融合されるデータを提供する、請求項８８に記載のゲームまたはエンターテインメントシステム。
【請求項90】
前記仮想データが、イベント、条件、またはオブジェクトのうちの１つ以上を含み、前記イベント、条件、またはオブジェクトは、それらが前記ビークル内センサのうちのいくつかまたはすべてによって検出された実際のイベント、条件、またはオブジェクトであるかのように、現実世界のビークル制御システムに現れる、請求項８８または８９に記載のゲームまたはエンターテインメントシステム。
【請求項91】
前記仮想データが、イベント、条件、またはオブジェクトのうちの１つ以上を含み、前記イベント、条件、またはオブジェクトが、前記現実世界のビークル制御システムが前記イベント、条件、またはオブジェクトにどのくらい効果的に反応するかを試験するために追加される、請求項８８～９０のいずれか一項に記載のゲームまたはエンターテインメントシステム。
【請求項92】
前記仮想データが、仮想人物、円すい形標識、障壁、標識、建物、または他のビークルなどの、前記ビークルが回避しなければならないオブジェクトを含む、請求項８８～９１のいずれか一項に記載のゲームまたはエンターテインメントシステム。
【請求項93】
前記仮想データが、雨、霧、氷、段差のある路面などの、前記ビークルが反応しなければならないオブジェクトおよび／または条件を含む、請求項８８～９２のいずれか一項に記載のゲームまたはエンターテインメントシステム。
【請求項94】
前記仮想データが、ルート経路、交差点、出入口などの、前記ビークルが通過しなければならないオブジェクトまたは戦利品を含む、請求項８８～９３のいずれか一項に記載のゲームまたはエンターテインメントシステム。
【請求項95】
前記仮想データが、レース、ゲーム、または競技でポイントを獲得するために前記ビークルが通過しなければならないオブジェクトまたは戦利品を含む、請求項８８～９４のいずれか一項に記載のゲームまたはエンターテインメントシステム。
【請求項96】
前記仮想データが、レース、ゲーム、または競技でポイントを獲得するために前記ビークルが通過しなければならないオブジェクトまたは戦利品を含み、これらが、仮想人物、障壁、標識、または他のビークルなどの、前記ビークルが回避しなければならない仮想または現実のオブジェクトの近くに配置される、請求項８８～９５のいずれか一項に記載のゲームまたはエンターテインメントシステム。
【請求項97】
前記仮想データが、ｅスポーツストリーミング、テレビ、ゲーム、映画などのメディアエンターテインメントの一部を形成するためのオブジェクトおよび／または条件を含む、請求項８８～９６のいずれか一項に記載のゲームまたはエンターテインメントシステム。
【請求項98】
前記ビークルを特徴とするイベントの観客、視聴者、参加者、またはコントローラが、前記現実世界のビークルと、前記ビークルが相互作用するオブジェクトまたは条件などの前記仮想世界で生成された任意のオブジェクトと、の両方をディスプレイで見ることができる、請求項８８～９７のいずれか一項に記載のゲームまたはエンターテインメントシステム。
【請求項99】
前記ビークルを特徴とするイベントの観客、視聴者、参加者、またはコントローラが、前記現実世界のビークルと、前記ビークルが相互作用するオブジェクトまたは条件などの前記仮想世界で生成された任意のオブジェクトと、の両方を、拡張現実ヘッドセットまたは眼鏡などのディスプレイで見ることができる、請求項８８～９８のいずれか一項に記載のゲームまたはエンターテインメントシステム。
【請求項100】
前記ビークルを特徴とするイベントの観客、視聴者、参加者、またはコントローラが、前記融合された現実世界および仮想世界を通して、その融合された世界のそれらのビューを変更するようにナビゲートすることができる、請求項８８～９９のいずれか一項に記載のゲームまたはエンターテインメントシステム。
【請求項101】
観客、視聴者、参加者、またはコントローラが、前記融合された現実世界および仮想世界を通して、それらが視聴、撮影、または記録もしくはストリーミングしているその融合された世界の前記ビューを変更するようにナビゲートすることができる、請求項８８～１００のいずれか一項に記載のゲームまたはエンターテインメントシステム。
【請求項102】
前記ビークルを特徴とするイベントの観客、視聴者、参加者、またはコントローラが、（ａ）オブジェクトであって、前記現実世界の制御システムが前記オブジェクトにどのくらい効果的に反応するかを試験するために追加されるオブジェクト、（ｂ）仮想人物、障壁、標識、または他のビークルなどの、前記ビークルが回避しなければならないオブジェクト、のうちの任意の１つ以上を前記仮想世界で追加するかまたは制御することができる、請求項８８～１０１のいずれか一項に記載のゲームまたはエンターテインメントシステム。
【請求項103】
前記ビークルを特徴とするイベントの観客、視聴者、参加者、またはコントローラが、ルート経路、出入口などの、前記ビークルが通過しなければならない前記仮想世界オブジェクトを、前記仮想世界に追加するかまたは制御することができる、請求項８８～１０２のいずれか一項に記載のゲームまたはエンターテインメントシステム。
【請求項104】
前記ビークルを特徴とするイベントの観客、視聴者、参加者、またはコントローラが、前記ビークルがレース、ゲーム、または競技でポイントを獲得するために通過しなければならないオブジェクトまたは戦利品を前記仮想世界で追加または制御することができる、請求項８８～１０３のいずれか一項に記載のゲームまたはエンターテインメントシステム。
【請求項105】
前記ビークルを特徴とするイベントの観客、視聴者、参加者、またはコントローラが、前記ビークルがレース、ゲーム、または競技でポイントを獲得するために通過しなければならない前記仮想世界のオブジェクトまたは戦利品を追加するかまたは制御することができ、それらが、仮想人物、障壁、標識、または他のビークルなどの、前記ビークルが回避しなければならない仮想または現実のオブジェクトの近くに配置される、請求項８８～１０４のいずれか一項に記載のゲームまたはエンターテインメントシステム。【発明の詳細な説明】
【技術分野】
【0001】
１．技術分野
本発明は、ビークルまたはビークルのグループで同時に使用するためのメタバースデータフュージョンシステムに関し、メタバースは、仮想現実および現実世界をハイブリッド現実の統一的な表現に組み合わせる。ビークルは、自律型走行車（ＡＶ）であってもよく、メタバースデータフュージョンシステムは、ＡＶソフトウェアのテストおよび設計だけでなく、ＡＶモータースポーツ競技およびエンターテインメントにも新しい可能性を開く。
本発明は、ビークルまたはビークルのグループで同時に使用するためのメタバースデータフュージョンシステムに関し、メタバースは、仮想現実および現実世界をハイブリッド現実の統一的な表現に組み合わせる。ビークルは、自律型走行車（ＡＶ）であってもよく、メタバースデータフュージョンシステムは、ＡＶソフトウェアのテストおよび設計だけでなく、ＡＶモータースポーツ競技およびエンターテインメントにも新しい可能性を開く。
【背景技術】
【0002】
２．背景技術
自律型システム（ロボット、自動運転車、ドローンなど）は、様々なシナリオ、特に最も複雑でリスクの高いシナリオで、そのようなシステムを開発し、試験し、証明し、およびそのようなシステムに挑戦するための新しい効率的なツールを必要とする。これは、様々な仮想シミュレーションを行うことによって達成できるが、リアルタイム物理学をシミュレートする多くの完全仮想モデルの精度は、依然として不十分である。
自律型システム（ロボット、自動運転車、ドローンなど）は、様々なシナリオ、特に最も複雑でリスクの高いシナリオで、そのようなシステムを開発し、試験し、証明し、およびそのようなシステムに挑戦するための新しい効率的なツールを必要とする。これは、様々な仮想シミュレーションを行うことによって達成できるが、リアルタイム物理学をシミュレートする多くの完全仮想モデルの精度は、依然として不十分である。
【0003】
これに対処するために、現実世界の試験トラックまたは実証場で実際の現実世界のビークルを使用した実験が広く実施されており、例えば、物理的障害物を自律型ビークルの経路に移動させて、特に、近くのカーブ、道路標識などの競合する要件を考慮した場合に、ビークル制御システムが障害物をどれだけうまく見つけ、位置特定、識別、追跡、および回避することができるかを確認することができる。しかし、これは高価で、セットアップが遅く、一貫性がなく、最も極端なシナリオを実行する際に物理的損傷、傷害などがあることが多い。
【0004】
本発明はまた、デジタル世界モデル、仮想オブジェクトで物理的な世界の画像を拡張すること、「メタバース」、現実世界のオブジェクトまたはイベントのライブデジタルレプリカを作成すること、物理的な世界に影響を与える拡張現実世界を利用する。以下に概説するように、これらの各々は、個別に知られている。
【0005】
デジタル世界モデルの概念は、新しいものではない。衛星ナビゲーションデバイスを有するあらゆる運転者は、物理的世界のデジタルツインにアクセスすることができ、その上にリアルタイムの位置を表示することができる。あらゆるロボットは、自由に動き、動的なオブジェクトとリアルタイムで対話するために、物理的な世界のデジタルツインを必要とする。自己位置推定および環境地図作成を同時に行う（ＳＬＡＭ）技術は、古くから存在していた。
【0006】
仮想オブジェクトで物理的な世界の画像を拡張するという概念は、新しいものではなく、これは、映画の視覚効果業界で一般的な手法であり、仮想スタジオセットの作成においてテレビ放送局によってリアルタイムで使用される。これをスポーツ放送局が使用して、テレビ広告、水泳またはロングジャンプでの世界記録ライン、スキーでのレースライン、ゴルフでのボール飛行経路、またはＮＦＬでのファーストダウンアンドテンラインを拡張する。
【0007】
メタバースの概念は新しいものではなく、メタバースは、仮想的に強化された物理的な現実と物理的に永続する仮想空間との輻輳によって作成される集合的な仮想共有空間として慣習的に定義される。メタバースは、本明細書にはないが、インターネットと、存在するすべての仮想世界およびすべての輻輳世界との組み合わせを具体的に指すために使用されることもある。この用語は、１９９２年にニール・スティーブンソンによって書かれたＳＦ小説であるＳｎｏｗ Ｃｒａｓｈに紹介され、より最近ではスティーヴン・スピルバーグのＲｅａｄｙ Ｐｌａｙｅｒ Ｏｎｅに登場した。
【0008】
現実世界のライブデジタルレプリカを作成するというコンセプトは、新しいものではなく、２００２年からＮＡＳＣＡＲ ＲａｃｅＶｉｅｗファンエクスペリエンスに使用され、Ａｍｅｒｉｃａ’ｓ Ｃｕｐ ＹａｃｈｔレースおよびＦＩＡ世界ラリー選手権などのアクセスしにくいスポーツのＶｉｒｔｕａｌ Ｓｐｅｃｔａｔｏｒエクスペリエンスを作成するために使用されている。２０１８年、Ｖｉｒｔｕａｌｌｙ Ｌｉｖｅは、ＦＩＡフォーミュラＥと提携して、ｅＳｐｏｒｔｓゲーマが現実世界の運転者とリアルタイムで競争するゴーストレースエクスペリエンスを作成した。ゴーストレースエクスペリエンスは、各車の内部に位置するＧＰＳシステムからすべてのトラックアクティビティを監視するために、モータースポーツレースコントロールシステムで使用されている。
【0009】
物理的な世界に影響を与える拡張現実世界の概念は新しいものではなく、Ａｎｋｉ ＯＶＥＲＤＲＩＶＥおよびＨｏｔ Ｗｈｅｅｌｓ（登録商標）Ａｕｇｍｏｔｏ（商標）Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｒａｃｉｎｇ Ｔｒａｃｋ Ｓｅｔで使用されている。Ａｌｅｘ Ｌｉｎｉｇｅｒの自動運転追い越し研究は、すべての計画、制御、意思決定が実装されたデジタル世界からリモートコントロールされた現実世界の車を使用していた。大規模なドローンディスプレイは、多くの場合、ライブ表示中に現実世界フィードバックによりリアルタイムで更新される仮想モデルで設計および計画される。
【0010】
データフュージョンシステムは、特にコンピュータビジョンコンテキストにおいて周知であり、データフュージョンシステムは、複数のコンピュータビジョンセンサからのデータを融合させるかまたは統合し、最も信頼性のあるデータを優先し、異なるセンサからのデータ間の衝突を解決する。本明細書における「データフュージョンシステム」という用語は、複数のソースからデータを取り出し、何らかの様態でそれらを融合させるか、統合するか、または別様に組み合わせるかもしくは選択的に組み合わせる任意のシステムを包摂するように広義に解釈されるべきである。「自律型ビークル」という用語は、その環境を感知し、人間の入力がほとんどまたは全くなく移動する任意のビークルを包摂するように広義に解釈されるべきであり、したがって、Ｌｅｖｅｌ３ ＳＡＥ Ｊ３０１６以上の任意のビークルを含むが、これらに限定されない。
【発明の概要】
【0011】
本発明の第１の態様は、現実世界のビークルで使用するためのデータフュージョンシステムであって、ビークルが、現実世界の領域に空間マッピングされるセンサデータを生成する複数のデータソースを含み、データフュージョンシステムが、（ｉ）空間マッピングされるセンサデータを、（ｉｉ）ビークル外で生成されたか、またはビークルの内外を問わず、ビークルもしくはビークルの動作とは独立に生成され、仮想世界に空間マッピングされる仮想データと、融合させるかまたは統合するように構成されているデータフュージョンシステムである。
【0012】
他の態様は、以下のものである。
【0013】
上記に定義されるデータフュージョンシステムを含む、ビークル。
【0014】
ビークルを開発するか、改善するか、または試験する方法であって、ビークルが、上記に定義されるデータフュージョンシステムを含み、仮想オブジェクト、イベント、または条件が、ビークルがそれらの仮想オブジェクト、イベント、または条件にどのように応答するかを試験するために、データフュージョンシステムによって処理される仮想世界に追加される、方法。
【0015】
ビークルであって、上記に定義される方法を使用して開発されたか、改善されたか、または試験された、ビークル。
【0016】
ゲームまたは他のエンターテインメントシステムであって、上記に定義されるデータフュージョンシステムを含むビークルを表示するか、または別様に特徴とする画像を生成する、ゲームまたは他のエンターテインメントシステム。
【0017】
一実装態様は、Ｒｏｂｏｒａｃｅ（登録商標）メタバース（商標）であり、これは、ユニークな競技形式および新しいエンターテインメントエクスペリエンスの両方を生み出すための現実世界および仮想世界の融合である。Ｒｏｂｏｒａｃｅメタバースの基盤は、物理的な世界で取得されるデータおよび仮想世界内で生成されるデータを融合させる、共有された「メタバース世界モデル」である。この単一の「メタバース世界モデル」は、リアルタイムの空間データから作成され、現実世界および仮想世界の同期を可能にする。仮想世界は、部分的には、物理的な世界のライブ３Ｄデジタルツインであるが、仮想世界は、関与する現実世界のエージェントに空間データが分配される追加の仮想オブジェクトを含み得る。
【0018】
これらのリアルタイムデジタル空間基盤は、以下を可能にする。
・物理的な世界および仮想世界と同時に対話するための自動運転車、
・リモートロケーションで完全没入型の仮想世界で物理的な世界を体験するためのオーディエンス。
・リアルタイムの拡張現実でライブアクションを見る物理的に存在する観客。
・ｅスポーツゲームの内部にいるかのように拡張現実ディスプレイで現実世界を体験する人間の運転者、
・人間の運転者は、ＶＲヘッドセットを装着することによって、物理的な現実における実際の車を制御しながら、仮想世界エクスペリエンスに完全に没入することができ、
・高精度の３Ｄビークルモデルならびにリアルタイムの運動学は、仮想世界のゲームエンジンの内部での写実的な視覚効果を可能にし、
・映画監督に仮想世界内でのショットを計画する能力を与えながら、完全に自動化された方法で物理的な車を撮影するロボットカメラ。
・物理的な世界および仮想世界と同時に対話するための自動運転車、
・リモートロケーションで完全没入型の仮想世界で物理的な世界を体験するためのオーディエンス。
・リアルタイムの拡張現実でライブアクションを見る物理的に存在する観客。
・ｅスポーツゲームの内部にいるかのように拡張現実ディスプレイで現実世界を体験する人間の運転者、
・人間の運転者は、ＶＲヘッドセットを装着することによって、物理的な現実における実際の車を制御しながら、仮想世界エクスペリエンスに完全に没入することができ、
・高精度の３Ｄビークルモデルならびにリアルタイムの運動学は、仮想世界のゲームエンジンの内部での写実的な視覚効果を可能にし、
・映画監督に仮想世界内でのショットを計画する能力を与えながら、完全に自動化された方法で物理的な車を撮影するロボットカメラ。
【0019】
Ｒｏｂｏｒａｃｅメタバースの内部に入ると、映画監督は、映画のようなショットおよび効果の無限のアレイを作成して、アクションおよびナレーションの両方を強調することができる。ライブＴＶディレクターは、まったく同じ自由度を有し、実際は、リモートＶＲのオーディエンスも同じである。物理的な世界は、単に、映画のセット、フォトリアリズムから漫画までの範疇のスタイルでリアルタイムの視覚効果のための空白のキャンバスになる。
【0020】
ビークル開発およびモータースポーツ競技におけるアプリケーションでは、仮想障害物を追加して、現実世界のトラックまたはルートのユーザ定義領域でセンサに出現させることができ、センサシステム全体に影響を与えることによって、これは、ビークルのあらゆるセンサにおける障害物を一貫した様態でシミュレートし、これにより、車制御システムは、処理するデータを、仮想障害物が現実の障害物であるかのように解釈する。メタバースプラットフォームは、基本的に、現実世界および仮想世界を融合させて、トラック条件をよりいっそう極端にする。
【0021】
メタバースプラットフォームは、仮想障害物を導入するだけでなく、「戦利品」または仮想領域も導入しており、これらは、現実世界のビークルがそれらを通過すると、報酬、ポイント、または他のボーナス得点（Ｓｏｎｉｃ ｔｈｅ Ｈｅｄｇｅｈｏｇによって収集されるゴールドリングと概念が類似する）をトリガする。真に楽しいエクスペリエンスを作るために、ボーナスポイントを集めることと車をクラッシュさせることなどとの間で衝突があるように、戦利品を障害物の近くに配置することができる。
【0022】
メタバースシステムは、現実世界のセンサを騙して、ルートに現実の障害物または「戦利品」などがあると思わせ、かつ制御アルゴリズム（例えば、自律型運転システム）が、現実世界の車がそれらを正しく回避するように、もしくはそれらを通過するように、または現実世界の車の最適な挙動が果たしてどのようなものであるかを制御する困難さを生じさせるように見える効果を出すものであると考えることができる。
【0023】
メタバースプラットフォームは、以下をサポートする。トラック上に複数の車を有すること、完全に仮想の車、人間が運転する車、完全自律型の車、実際の自律型のビークルおよびロボットの開発および試験のための、極限の、さらには超現実的な条件、普通の車の実使用アプリケーション（ビークルを極限まで押し上げることによるビークルの検証、試験など）、モータースポーツの新しい競技形式、公的イベントの新しいエンターテインメントエクスペリエンス、オーディエンスを観客だけでなく参加者にも、オーディエンスは、戦利品または障害物を導入する能力を有し得ること。
【0024】
より重要なことに、すべての物理的な空間のデータおよび仮想空間データを融合させてメタバース世界モデルにすることは、物理的なオブジェクトと仮想オブジェクトの相互作用の基盤である。可能なユースケースは、以下を含む。
・自動運転車は、ドライバインザループシミュレータの内部に安全に位置するｅスポーツゲーマによって制御される仮想車と競争することができ、
・拡張現実ディスプレイを有する人間の運転者は、ドライバインザループシミュレータの内部に安全に位置するｅスポーツゲーマによって制御される仮想ビークルと競争することができ、
・シミュレータ内のｅスポーツゲーマは、通信遅延に応じた操作的、戦術的、および戦略的な制御抽象化の様々なレベルで物理的な車を直接制御することができ、
・トラック、バス、車、バン、バイク、ならびに歩行者、サイクリスト、および動物などの脆弱な道路使用者などの仮想世界オブジェクトを、物理的な車がそれらを避けることを必要とするメタバース世界モデルに注入することができ、
・仮想オブジェクトを、競争しているチーム、観客、およびリモートオーディエンスの手に制御がある、大規模なマルチプレイヤオープンゲームに変えることができ、
・現実世界の天候は、仮想世界の内部の競合者に影響を与え、
・ソルトフラッツおよびターマックレイク（ｔａｒｍａｃ ｌａｋｅ）は、仮想世界内で作成および操作される、常に変化する道路レイアウトを作成するための空白のキャンバスを提供する。
・自動運転車は、ドライバインザループシミュレータの内部に安全に位置するｅスポーツゲーマによって制御される仮想車と競争することができ、
・拡張現実ディスプレイを有する人間の運転者は、ドライバインザループシミュレータの内部に安全に位置するｅスポーツゲーマによって制御される仮想ビークルと競争することができ、
・シミュレータ内のｅスポーツゲーマは、通信遅延に応じた操作的、戦術的、および戦略的な制御抽象化の様々なレベルで物理的な車を直接制御することができ、
・トラック、バス、車、バン、バイク、ならびに歩行者、サイクリスト、および動物などの脆弱な道路使用者などの仮想世界オブジェクトを、物理的な車がそれらを避けることを必要とするメタバース世界モデルに注入することができ、
・仮想オブジェクトを、競争しているチーム、観客、およびリモートオーディエンスの手に制御がある、大規模なマルチプレイヤオープンゲームに変えることができ、
・現実世界の天候は、仮想世界の内部の競合者に影響を与え、
・ソルトフラッツおよびターマックレイク（ｔａｒｍａｃ ｌａｋｅ）は、仮想世界内で作成および操作される、常に変化する道路レイアウトを作成するための空白のキャンバスを提供する。
【0025】
メタバースプラットフォームは、リアルタイムのオブジェクトおよびイベント情報が、以下を含む共有の「世界モデル」を介して仲介されるデータ交換プラットフォームと考えることができるものである。
・車の物理的な世界の位置、交通信号の状態、時刻、気象条件、山道、市道、高速道路、車線、駐車場、車庫など。
・ヒューマノイド、ロボットドッグ、ロボットカメラ、ドローンなどを含む他のロボットの物理的な世界の位置。
・仮想の車、歩行者、交通円すい形標識、安全地帯または追い越し地帯などの位置
・仮想の道路、建物、交差点、交通信号などの幾何学的形状および位置。
・車の物理的な世界の位置、交通信号の状態、時刻、気象条件、山道、市道、高速道路、車線、駐車場、車庫など。
・ヒューマノイド、ロボットドッグ、ロボットカメラ、ドローンなどを含む他のロボットの物理的な世界の位置。
・仮想の車、歩行者、交通円すい形標識、安全地帯または追い越し地帯などの位置
・仮想の道路、建物、交差点、交通信号などの幾何学的形状および位置。
【0026】
データの交換は、リアルタイムで、場合によっては最小限の待ち時間で行われる必要がある。これは、有線および無線の異なるネットワークをわたって、および共有メモリからＥｔｈｅｒｎｅｔへの異なるトランスポートをわたって流れなければならない。データは、複数のプログラミング言語での異なるオペレーティングシステムを実行する、多様なコンピュータハードウェアアーキテクチャでアクセス可能でなければならない。いくつかの環境では、ＯＭＧ標準化されたデータ配信サービス（ＤＤＳ）フレームワークを使用した分散型データ中心アーキテクチャが使用されてもよい。
【0027】
メタバース世界モデルは、個々のエージェントからの「ローカル世界モデル」間の差異を調整する、グローバル状態の単一の統一された表現である。これらの個々のエージェントは、物理的または仮想的であってもよい。
【0028】
物理的なエージェントは、サイズ、重量、電力、処理速度、メモリ、通信帯域幅、および遅延の個々の制約を受ける可能性があり、これらのすべてが、「ローカル世界モデル」のアーキテクチャ、性能、および能力に影響を与える。
【0029】
仮想エージェントは、単一の一貫した「ローカル世界モデル」がある共有シミュレーション環境内に存在し得る。仮想エージェントはまた、並行して動作する複数のシミュレーション環境にわたって分離され得る。シミュレーションの内部で実行する場合、そのシミュレートされた世界内のすべてのエージェントが、共有の「ローカル世界モデル」を使用することが可能である。
【0030】
外部のソフトウェア開発チームは、エージェントの「ローカル世界モデル」を共有してＲｏｂｏｒａｃｅ「メタバース世界モデル」にし得ることを確保する。例えば、そうすることによって、自動または自律型運転システム（ＡＤＳ）の「ローカル世界モデル」を、正確さのためにＲｏｂｏｒａｃｅ「メタバース世界モデル」に対して参照することができる。これにより、ソースコードのインターロゲーションなしでＡＤＳ性能の客観的な測定を生み出すことができ、必要に応じて結果を使用して安全制限を課すことができる。
【0031】
「ローカル世界モデル」は、いくつかのＡＤＳソフトウェアアーキテクチャ内にすでに存在する。
【0032】
「ローカル世界モデル」は、物理的な現実をハンドリングし続け、追加のリモートＲｏｂｏｒａｃｅ「メタバース世界モデル」は、計画および制御フェーズの前の仮想オブジェクトおよび仮想環境特徴の注入を可能にする。このことにより、現実のオブジェクトおよび仮想オブジェクトの両方がファーストクラスの市民であることが確保され、例えば、仮想トラックを、計画フェーズおよび意思決定フェーズの間に現実のトラックと同一に扱うか、または、仮想道路レイアウトを、トラックのセクションをリアルタイムで再構成して瞬時に更新することができる。
【0033】
Ｒｏｂｏｒａｃｅメタバース世界モデルを介してビークル内ＡＲへの接続を仲介することによって、仮想車などのオブジェクトを、人間の運転者のためのディスプレイに拡張することができる。これらのレンダリングはまた、リアルタイムのグラフィックを、エンジニアへの返送およびライブリニア視聴エクスペリエンス用に、オンボードカメラビデオフィードに拡張するために使用できる。
【0034】
一般的に、私たちは、ビークルの自動運転システム（ＡＤＳ）を有し、ＡＤＳは、ビークルの周囲の物理的な世界を感知することに由来するローカル世界モデルを含み、このローカル世界モデルとＡＤＳ計画および制御層との間に、埋め込みメタバース世界モデルシステムがある。したがって、運転タスクは、ローカル世界モデルからの仮想であり得るか、またはローカル世界モデルから媒介され得るメタバース世界モデルから受信されたデータに基づく。
【0035】
リモートおよび集中型のメタバース世界モデルとの間の外部通信により、ローカルエージェントによる実行のための共有前に、複数の現実世界および仮想世界を互いに融合させることが可能になる。
【0036】
オプションの特徴：
・ＡＤＳのローカル世界モデルは、外部の融合またはメタバース世界モデルシステムにデータを送信し、ＡＤＳの計画および制御層は、このシステムからデータを受信する。
・ＡＤＳのローカル世界モデルは、ＡＤＳの埋め込み部分またはサブシステムである、融合またはメタバース世界モデルにデータを送信し、ＡＤＳ計画および制御層は、この世界モデルからデータを受信する。
・ＡＤＳのローカル世界モデルは、外部の融合またはメタバース世界モデルと、さらにＡＤＳの埋め込み部分またはサブシステムである融合またはメタバース世界モデルと、の両方にデータを送信し、ＡＤＳ計画および制御層は、この両方からデータを受信する
・メタバース世界モデルシステムは、ＡＤＳに、ＡＤＳがその後にＡＤＳの制御および計画動作時に含む仮想オブジェクト、仮想経路、仮想ルート、のいずれかを注入することを可能にする。
・ローカル世界モデルは、ＯＭＧ ＤＤＳデータバスまたは同様のリアルタイム通信ミドルウェアを介してデータを送信する。
・メタバース世界モデルの出力は、ローカル世界モデルから通常受信されるＡＤＳ計画および制御の予想される入力と一致してもよい。このモードでは、ＡＤＳ計画および制御は、オブジェクトが現実であるかまたは仮想であるかの表示を有していない。
・メタバース世界モデルの出力は、オブジェクトが現実であるかまたは仮想であるかを示す追加のフラグとともにローカル世界モデルから通常受信されるＡＤＳ計画および制御の予想される入力とを一致しなくてもよい。ＡＤＳモードでは、ＡＤＳ計画および制御システムは、この追加のオブジェクト情報を利用するように適合されてもよい。
・ＡＤＳのローカル世界モデルは、外部の融合またはメタバース世界モデルシステムにデータを送信し、ＡＤＳの計画および制御層は、このシステムからデータを受信する。
・ＡＤＳのローカル世界モデルは、ＡＤＳの埋め込み部分またはサブシステムである、融合またはメタバース世界モデルにデータを送信し、ＡＤＳ計画および制御層は、この世界モデルからデータを受信する。
・ＡＤＳのローカル世界モデルは、外部の融合またはメタバース世界モデルと、さらにＡＤＳの埋め込み部分またはサブシステムである融合またはメタバース世界モデルと、の両方にデータを送信し、ＡＤＳ計画および制御層は、この両方からデータを受信する
・メタバース世界モデルシステムは、ＡＤＳに、ＡＤＳがその後にＡＤＳの制御および計画動作時に含む仮想オブジェクト、仮想経路、仮想ルート、のいずれかを注入することを可能にする。
・ローカル世界モデルは、ＯＭＧ ＤＤＳデータバスまたは同様のリアルタイム通信ミドルウェアを介してデータを送信する。
・メタバース世界モデルの出力は、ローカル世界モデルから通常受信されるＡＤＳ計画および制御の予想される入力と一致してもよい。このモードでは、ＡＤＳ計画および制御は、オブジェクトが現実であるかまたは仮想であるかの表示を有していない。
・メタバース世界モデルの出力は、オブジェクトが現実であるかまたは仮想であるかを示す追加のフラグとともにローカル世界モデルから通常受信されるＡＤＳ計画および制御の予想される入力とを一致しなくてもよい。ＡＤＳモードでは、ＡＤＳ計画および制御システムは、この追加のオブジェクト情報を利用するように適合されてもよい。
【図面の簡単な説明】
【0037】
本発明について、Ｒｏｂｏｒａｃｅメタバースプラットフォームと呼ばれる実装態様を参照して記載する。
【図1】自律型ビークルまたは半自律型ビークルに常駐する従来のＡＤＳソフトウェアアーキテクチャを示す。
【図2】制限されたプログラミング可能性を有するビークル上の統合スタンドアロンメタバースエージェントを有するＡＤＳソフトウェアアーキテクチャを示す。
【図3】完全にプログラム可能なビークル上の統合スタンドアロンメタバースエージェントを有するＡＤＳソフトウェアアーキテクチャを示す。
【図4】フルスケールのマルチエージェントメタバースでの統合メタバースエージェントを有するＡＤＳソフトウェアアーキテクチャを示す。
【図5】通過すべき領域（破線のボックス）および回避すべき領域（実線のボックス）に接近する、メタバースエージェントを備えたレーシングカーを示す。
【図6】通過すべき領域（破線のボックス）および回避すべき領域（実線のボックス）に接近する、メタバースエージェントを備えたレーシングカーを示す。
【図7】仮想障害物を通過する、レーストラック上の現実世界の自律型レーシングカー（Ｒｏｂｏｃａｒ（登録商標）ビークル）を示す。
【図8】仮想障害物と衝突する現実世界の自律型Ｒｏｂｏｃａｒ（登録商標）レーシングカーを示す。
【図9】仮想の「戦利品」または報酬を収集する、現実世界の自律型Ｒｏｂｏｃａｒ（登録商標）レーシングカーを示す。
【発明を実施するための形態】
【0038】
Ｒｏｂｏｒａｃｅメタバースプラットフォームは、様々な実際的な問題（例えば、自律型ビークル制御システムおよび関連するソフトウェア／ファームウェア／ハードウェアを試験および開発すること）を、高度の反復性、一貫性、および効率で解決するために、人間およびロボット（例えば、自律型ビークル、ドローンなど）がセミシミュレートされた（すなわち、現実世界の現実および仮想世界の現実の融合または組み合わせ）動的な物理システムで様々なシナリオを実行するための一貫した、混合された現実（すなわち、現実世界の現実および仮想世界の現実の融合または組み合わせ）を提供する。
【0039】
Ｒｏｂｏｒａｃｅメタバースプラットフォームは、統一された多次元環境で相互接続された現実世界および仮想世界の融合を実装し、所与のシナリオに参加する人間およびマシンの両方にとって一貫性のあるまたは一貫した、安全な、混合された、または融合された現実を提供する。この環境では、現実のマシン（例えば、現実世界のビークルまたは他のマシン）は、仮想オブジェクトと、仮想オブジェクトが実在するかのように対話することができる。同様に、仮想マシンは、現実世界のオブジェクトと、現実世界のオブジェクトの仮想世界にあるかのように対話することができる。
【0040】
この実装態様の１つの実際的な目的は、通常の実生活だけでなく、特に、極限での、およびさらには変更された物理学を有する超現実的な条件（例えば、地球外シナリオ）での、自律型ビークルおよびロボットの開発および試験のための高度な施設を作成することである。これにより、また、公共のイベント、例えばモータースポーツおよびｅスポーツの新しい競技形式、のための新しいエンターテインメントエクスペリエンスが可能になる。
【0041】
この実装態様は、自動車および輸送、産業および消費者ロボット、宇宙産業、防衛産業、医療、メディアおよびエンターテインメント、視覚アートに適用可能である。いくつかの例示的な例は、以下の実際的な実装態様およびユースケースのセクションでさらに与えられる。
【0042】
本質的に、メタバースプラットフォームは、分散されたソフトウェアおよびハードウェアコンポーネントの複合システムであり、これらのコンポーネントは、低遅延接続プロトコルによって相互接続されて現実および仮想のオブジェクト、イベント、および条件に関する情報が共有の「世界モデル」を介して仲介されるリアルタイムデータネットワークとなる。これらのコンポーネントは、マシンの制御データおよびセンサシステムにアタッチされたプラグイン「注入器」として機能し、したがって、仮想オブジェクト、条件、およびイベントを表すデータを通常の制御およびセンサデータにシームレスに注入（すなわち融合または統合）することによって、これらの制御データおよびセンサシステムをメタバースの一部にし、そのため、マシンは、これらのシミュレートされた仮想要素を、基礎となる実際の物理的プロセスの現実の要素とともに、現実のものとして知覚する。
【0043】
メタバースプラットフォームは、全体的または部分的に計算リソース（ソフトウェア、ファームウェア、ハードウェア、またはこれらの任意の組み合わせ）上で実行されてもよく、これらの計算リソースは、（ｉ）製造時におけるビークルの統合的な部分、（ｉｉ）製造時にビークルの統合的な部分である計算リソースと、製造後にビークルに追加される計算リソースと、の間で分散され、（ｉｉｉ）製造後にビークルに完全に追加され、それゆえ既存のビークル内データバスおよびデータアクセスポートに統合された計算リソース、（ｉｖ）完全に外部にあるか、または内部のコンピュータリソースと、さらには外部の計算リソースと、の間で分散された計算リソースである。
【0044】
メタバースプラットフォームは、以下の重要な要素を含み、本書で詳細に後述する。
１．メタバース世界モデル－物理的な世界で取得されたデータを仮想世界内で生成されたデータとシームレスに融合させるために、セミシミュレートされた（例えば、ハイブリッド仮想および現実世界）の動的な物理的なシステムを記述するための共有データモデル。
２．メタバースエージェント－現実または仮想のアクティブなオブジェクトは、それらのデータを共有することができ、独自のローカル世界モデルを維持しながら、他のオブジェクトを知覚する。この用語はまた、メタバース環境への所与のオブジェクトのソフトウェアおよびハードウェアコンポーネントの統合を管理するソフトウェアコンポーネントを指定する。
３．データ配信フレームワーク－メタバースのソフトウェアおよびハードウェアコンポーネント全体へのリアルタイムの信号伝達および一貫性のあるデータ配信を可能にする、データ交換方法とプロトコルとの複合システム。
４．データ注入フレームワーク－現実の物理的なプロセスによって調整される通常のデータへの人工仮想データのシームレスかつ高精度の注入を可能にする様々な制御システムおよびセンサシステムのためのリアルタイムデータ注入器を構築および展開するための標準的な方法を提供するように設計された再利用可能なソフトウェアおよびハードウェアコンポーネントの拡張可能なツールキット。
５．表現フレームワーク－様々なユーザインターフェース、対話型プラットフォーム、およびデバイスを介して、エンドユーザにメタバースの没入型表現を提供する、再利用可能なソフトウェア統合アダプタの拡張可能なツールキット。メタバース表現フレームワークでは、人間のエンドユーザにとって、メタバースは、単純なデータ可視化ダッシュボードから始まり、追加の感覚的手段（例えば、動き、風、温度など）を有するメタバースの視聴覚的プレゼンテーションを提供する高度に没入型のツールで終わるまで、様々なオプションで表現できる。そのため、あらゆるものが、画面上にまたはＡＲもしくはＶＲヘッドセットを介して融合シーンとして表示される。
１．メタバース世界モデル－物理的な世界で取得されたデータを仮想世界内で生成されたデータとシームレスに融合させるために、セミシミュレートされた（例えば、ハイブリッド仮想および現実世界）の動的な物理的なシステムを記述するための共有データモデル。
２．メタバースエージェント－現実または仮想のアクティブなオブジェクトは、それらのデータを共有することができ、独自のローカル世界モデルを維持しながら、他のオブジェクトを知覚する。この用語はまた、メタバース環境への所与のオブジェクトのソフトウェアおよびハードウェアコンポーネントの統合を管理するソフトウェアコンポーネントを指定する。
３．データ配信フレームワーク－メタバースのソフトウェアおよびハードウェアコンポーネント全体へのリアルタイムの信号伝達および一貫性のあるデータ配信を可能にする、データ交換方法とプロトコルとの複合システム。
４．データ注入フレームワーク－現実の物理的なプロセスによって調整される通常のデータへの人工仮想データのシームレスかつ高精度の注入を可能にする様々な制御システムおよびセンサシステムのためのリアルタイムデータ注入器を構築および展開するための標準的な方法を提供するように設計された再利用可能なソフトウェアおよびハードウェアコンポーネントの拡張可能なツールキット。
５．表現フレームワーク－様々なユーザインターフェース、対話型プラットフォーム、およびデバイスを介して、エンドユーザにメタバースの没入型表現を提供する、再利用可能なソフトウェア統合アダプタの拡張可能なツールキット。メタバース表現フレームワークでは、人間のエンドユーザにとって、メタバースは、単純なデータ可視化ダッシュボードから始まり、追加の感覚的手段（例えば、動き、風、温度など）を有するメタバースの視聴覚的プレゼンテーションを提供する高度に没入型のツールで終わるまで、様々なオプションで表現できる。そのため、あらゆるものが、画面上にまたはＡＲもしくはＶＲヘッドセットを介して融合シーンとして表示される。
【0045】
メタバース実装態様の一特徴は、実際のシミュレートされたセンサのデジタル信号と、センサ対応の接続されたマシンおよびロボットの制御データと、のリアルタイムの融合である（マシンを「ビークル」と呼ぶが、その用語は、人が物を運ぶためのオブジェクトに限定されるべきではなく、代わりに、ロボット、固定ロボット、自走ロボット、ドローン、自律型乗用ビークルまたは貨物運搬ビークル、半自律型乗用ビークルまたは貨物運搬ビークルなどの任意の種類のマシンを包摂するように広く解釈されるべきである）。
【0046】
特定の地形で作用する様々なマシンにわたるデジタルコンポーネントの効果的な一貫性のあるオーケストレーションは、自然実験、フィールド試験、競技または他のアプリケーションを実行する複合シナリオの実装態様を可能にし、マシンは、シミュレートされたプロセスを、それらが現実のプロセスであるかのように、現実のプロセスと同時に取り込み、それらに反応することを可能にする。そのため、すべてが「メタバース」と呼ばれる単一の環境に共存して相互作用する、現実の（実際の）および仮想の（シミュレートされた）要素を含むシステムを有する。
【0047】
デジタル性によるメタバース実装態様は、基礎となる組み合わされた現実および仮想の動的な物理システムを特徴付ける有限または可算数の状態を有する離散装置であり、この装置は、この装置の進行のすべての時間ステップでこの装置を記述するすべての現実および仮想の「オブジェクト」、「条件」、および「イベント」の統合的構成としてモデル化される。
【0048】
このモデルを、「メタバース世界モデル」または「世界モデル」と呼ぶ。このメタバース内の個々のオブジェクトの次の最も可能性の高い状態の時間ステップの先行計算は、メタバースの機能に不可欠なタスクであり、それは、仮想データを現実のデータに、または現実のデータで正確に注入することを可能にする。
【0049】
メタバース実装態様では、メタバース世界オブジェクトの次の最も可能性の高い状態は、特定の時間ステップでこのオブジェクトの物理的な状態の計算された推論である。これは、周囲の状況（実際の条件およびイベントを含む）を考慮して、および／またはイベントの任意のドリフトを指摘する間接的な情報に基づいて、実際の既知の状態から導出できる。オブジェクトの状態の異なる特性は、デッドレコニングと、数学的外挿の方法と、カルマンフィルタリングと、深層学習推論と、ビークルタイヤ動力学のパチェカモデル、または未知の環境での自己位置推定のためのＳＬＡＭのような特定の問題解決方法と、を含むが、これらに限定されない、異なる適切な手順によって計算できる。これらの方法の大部分は、周知であり、計算モデリングおよびシミュレーションで広く使用されている。メタバースプラットフォームの実装態様は、上記に列挙した方法のすべてを利用する。
【0050】
このメタバースの実装態様はまた、データ注入器の概念を導入し、データ注入器は、現実の（実際の）データおよび仮想の（シミュレートされた）データを融合させてマシンの制御データおよびセンサデータにすることを実行する、メタバースプラットフォームの重要なアクティブコンポーネントである。技術的には、注入器は、マシンの内部通信バスを介して、または別個のハードウェアユニットとして、もしくはマシンの既存のハードウェアユニットにインストールされた共生ソフトウェアモジュールとして、マシンの内部コントローラおよびセンサに接続されたオンボードデジタルコンポーネントである。空間マッピングされるデータは、制御システムおよびセンサシステムから注入器まで、ならびにそこから世界モデルまで、ならびにそこからビークル計画および制御システム（例えば、ＡＤＳシステム）まで流れ、制御信号経路は反対方向に流れる。
【0051】
このプラットフォームの全体的な高い複雑さに起因して、必要な一貫性およびリアルタイム制御要件を考慮して、そのことは、様々な特定の機能要素とメタバース世界モデルの空間マッピングされるフラグメントとを計算するソフトウェアおよびハードウェアデジタルコンポーネントの高度に分散化および非集中化されたネットワークとして設計される。
【0052】
プラットフォームは、不要な計算を回避するために、あらゆる時間ステップであらゆるコンポーネントおよび隣接システムについて、メタバース全体の包括的な瞬間状態をリアルタイムで維持する必要はない。そのため、一般に、あらゆる瞬間で、メタバースのエンドツーエンド状態は、不確定であり得る。それにもかかわらず、１つ以上のメタバース世界オブジェクトを制御する各デジタルコンポーネントは、ローカル世界モデルにおいて併せて定義される、それらのアクションのための特定のアクションおよびコンテキストに瞬時に関与する制御されたオブジェクトのそれらに対してのみ、次の最も可能性の高い状態のリアルタイムデータ処理および計算を実行する。すべての他のオブジェクトは、繰り延べ時間レジームで処理される。そのため、リアルタイムの観点から、その方法は、必要とされるシナリオを実行するのに十分である、基礎となるセミシミュレートされた物理システムの希少な詳細を与え、メタバース世界モデル全体のエンドツーエンド状態の進行は、そのシステムを供するコンポーネントにわたる繰り延べ計算が最終的に完了したある期間後に利用可能になる。メタバースの進化のそのような包括的な時間トレイルが特定のアプリケーションに必要でない場合、繰り延べ計算を省略することができる。
【0053】
このアプローチは、メタバースプラットフォームの技術的アーキテクチャを支配する以下の主要原則を決定する。
・あらゆるコンポーネントは、その機能、および隣接するコンポーネントとの相互動作のために許容できる少ないデータを消費および生成し、
・各オブジェクトの状態の非常に緩慢な計算評価があり、
・所定のシステム全体のクロックおよび周波数は、存在せず、コンポーネントは、コンポーネントのデータサンプリングレートおよび分解能を独立に維持する。
・計算の一貫性は、ハイブとしても参照されるコンポーネントの自己組織化されたメッシュネットワークにおいて維持される。
・あらゆるコンポーネントは、その機能、および隣接するコンポーネントとの相互動作のために許容できる少ないデータを消費および生成し、
・各オブジェクトの状態の非常に緩慢な計算評価があり、
・所定のシステム全体のクロックおよび周波数は、存在せず、コンポーネントは、コンポーネントのデータサンプリングレートおよび分解能を独立に維持する。
・計算の一貫性は、ハイブとしても参照されるコンポーネントの自己組織化されたメッシュネットワークにおいて維持される。
【0054】
このアプローチは、継続的な運用をサポートするための広範なインフラストラクチャを必要とすることなく、メタバース全体の高い信頼性および耐障害性を可能にする。
【0055】
メタバースに基づく特定のアプリケーションの実装態様は、関連するメタバース世界モデルを、それぞれのデータ注入器を実行し、かつ適切なデータ配信を維持することによって、その世界モデルを供する既製および／またはカスタムメイドのメタバースエージェントのセットを備えるように、調整することを必要とする。
【0056】
メタバース世界モデル
メタバース実装態様の基盤部分は、現実世界および仮想世界のソースからのデータを組み合わせ、そのデータから正確に融合されたメタバース世界モデルを生成する方法である。そのため、あらゆる所与のメタバース世界モデルは、その要素の次の最も可能性の高い状態を計算する際の不確実性を最小限に抑えるために十分な程度に特徴付けられ、かつ継続的に更新されるセミシミュレートされた（例えば、部分仮想、部分現実の世界）動的な物理システムを指定し、したがって、システム全体としてもそのモデルおよびメタバースの全体的な堅牢性を向上させる。
メタバース実装態様の基盤部分は、現実世界および仮想世界のソースからのデータを組み合わせ、そのデータから正確に融合されたメタバース世界モデルを生成する方法である。そのため、あらゆる所与のメタバース世界モデルは、その要素の次の最も可能性の高い状態を計算する際の不確実性を最小限に抑えるために十分な程度に特徴付けられ、かつ継続的に更新されるセミシミュレートされた（例えば、部分仮想、部分現実の世界）動的な物理システムを指定し、したがって、システム全体としてもそのモデルおよびメタバースの全体的な堅牢性を向上させる。
【0057】
メタバース世界モデルの基本的な構築要素は、以下のものである。
・位置および動きベクトルの瞬時の状態とともに、質量、幾何学的形状、および機構的特性を含むが、これらに限定されない、静的（または無視できるほど遅く変化する）特性および動的特性を有する現実世界および仮想世界の空間マッピングされる要素を指定し、それらがすべて、その状態を追跡および計算するためのオブジェクトの包括的な物理情報を形成する、「オブジェクト」。
・重力加速度のようなその物理的条件、および／または大気温度、圧力および湿度、照明条件、大気の降水量、霧密度および視認性の範囲、見かけの風の方位などの特定の気象学的データを含むが、これらに限定されない、全体のまたは特定の空間マッピングされる領域の特定の空間的マッピングされる領域の、周囲環境を特徴付ける、「条件」。
・所与の条件におけるオブジェクトの挙動によって引き起こされる特定の状態変化を指定する「イベント」であって、これらは、特定の原因または目的（例えば、オブジェクトの操作、衝突、交通信号および標識の動作、気象条件の変化など）によって拘束されるシステム要素の状態変化の集約形態を指定する。
・位置および動きベクトルの瞬時の状態とともに、質量、幾何学的形状、および機構的特性を含むが、これらに限定されない、静的（または無視できるほど遅く変化する）特性および動的特性を有する現実世界および仮想世界の空間マッピングされる要素を指定し、それらがすべて、その状態を追跡および計算するためのオブジェクトの包括的な物理情報を形成する、「オブジェクト」。
・重力加速度のようなその物理的条件、および／または大気温度、圧力および湿度、照明条件、大気の降水量、霧密度および視認性の範囲、見かけの風の方位などの特定の気象学的データを含むが、これらに限定されない、全体のまたは特定の空間マッピングされる領域の特定の空間的マッピングされる領域の、周囲環境を特徴付ける、「条件」。
・所与の条件におけるオブジェクトの挙動によって引き起こされる特定の状態変化を指定する「イベント」であって、これらは、特定の原因または目的（例えば、オブジェクトの操作、衝突、交通信号および標識の動作、気象条件の変化など）によって拘束されるシステム要素の状態変化の集約形態を指定する。
【0058】
メタバース世界モデルでは：
・（ｉ）特定の会場のデジタルツイン（例えば、性能試験場、道路ネットワーク、競馬場、スポーツアリーナ）などの空間マッピングされる現実世界領域、および／または（ｉｉ）すべてが上述の現実世界領域における特定の物理的特性を有する、フルサイズのビークル、ロボット、ドローン、人物、または障害物などの現実のオブジェクトの１つ以上の空間的に定位されたデジタルツインを含む現実世界ソースがある。
・（ｉ）対応する現実世界領域にアタッチされた空間マッピングされる仮想世界領域であって、対応する現実世界領域を、（ｉｉ）ビークル、人間、様々な障害物、または現実世界の概念およびそれらの挙動、ならびにすべてが上述の仮想領域における特定の記述的な物理的特徴をすべて有する任意の実現可能な空想オブジェクト、をシミュレートする他のアイテムなどの１つ以上の空間的に定位される仮想オブジェクトで拡張する、仮想世界領域を含む、仮想世界ソース、例えば仮想世界がある。
・現実世界および／または空間マッピングされるイベントで発生する空間マッピングされる条件およびイベント、ならびに仮想世界でシミュレートされたイベントおよび条件は、次いで組み合わされて、融合されたメタバース世界モデルになる。
・（ｉ）特定の会場のデジタルツイン（例えば、性能試験場、道路ネットワーク、競馬場、スポーツアリーナ）などの空間マッピングされる現実世界領域、および／または（ｉｉ）すべてが上述の現実世界領域における特定の物理的特性を有する、フルサイズのビークル、ロボット、ドローン、人物、または障害物などの現実のオブジェクトの１つ以上の空間的に定位されたデジタルツインを含む現実世界ソースがある。
・（ｉ）対応する現実世界領域にアタッチされた空間マッピングされる仮想世界領域であって、対応する現実世界領域を、（ｉｉ）ビークル、人間、様々な障害物、または現実世界の概念およびそれらの挙動、ならびにすべてが上述の仮想領域における特定の記述的な物理的特徴をすべて有する任意の実現可能な空想オブジェクト、をシミュレートする他のアイテムなどの１つ以上の空間的に定位される仮想オブジェクトで拡張する、仮想世界領域を含む、仮想世界ソース、例えば仮想世界がある。
・現実世界および／または空間マッピングされるイベントで発生する空間マッピングされる条件およびイベント、ならびに仮想世界でシミュレートされたイベントおよび条件は、次いで組み合わされて、融合されたメタバース世界モデルになる。
【0059】
重要な統合的要素として、メタバース世界モデルは、エンドツーエンドのメタバース全体のグローバル記述画像の単一の統一された表現を与える。そのことにより、システム全体にデータを配信するときに、個々のエージェントのローカル世界モデル間の差異を調整することが可能になる。
【0060】
メタバースエージェント
メタバースエージェントは、所与のメタバース内でデータを共有することが可能にされたアクティブなタイプのメタバースオブジェクト（現実または仮想）を構成し、これにより、他のエージェントがこれらのオブジェクトの状態および挙動を推測するために必要とされる過剰な計算の必要性を回避する。各エージェントはまた、ローカル世界モデルを有し、これにより、エージェントが自身の状態および挙動を処理するために考慮するメタバースの現実および仮想の要素（オブジェクト、条件、およびイベント）に関する情報を含む、特定の「アクションコンテキスト」を保持する。集合的に、エージェントは、センサとアクチュエータとの統合的なシステムとして機能し、メタバース全体に関する１つのエージェントを、複合マルチエージェントロボットシステムとみなすことが可能である。
メタバースエージェントは、所与のメタバース内でデータを共有することが可能にされたアクティブなタイプのメタバースオブジェクト（現実または仮想）を構成し、これにより、他のエージェントがこれらのオブジェクトの状態および挙動を推測するために必要とされる過剰な計算の必要性を回避する。各エージェントはまた、ローカル世界モデルを有し、これにより、エージェントが自身の状態および挙動を処理するために考慮するメタバースの現実および仮想の要素（オブジェクト、条件、およびイベント）に関する情報を含む、特定の「アクションコンテキスト」を保持する。集合的に、エージェントは、センサとアクチュエータとの統合的なシステムとして機能し、メタバース全体に関する１つのエージェントを、複合マルチエージェントロボットシステムとみなすことが可能である。
【0061】
個々の現実の物理的なオブジェクト、通常はいくつかのマシンおよびデバイスを表す、エージェントは、そのようなマシンおよびデバイスに特有である制御ユニットおよびセンサのそれぞれの構成にインストールおよび接続されたハードウェアまたはソフトウェアコンポーネントとして実装できる。そのような、エージェントコンポーネントの統合的なセットは、そのデータを収集し、かつその状態を追跡するとともに、特定のセットのデータ注入器を使用して、仮想データをその通常の動作データに注入することによりホストオブジェクトを所与のメタバースに没入させることによって、そのホストオブジェクトを「メタバース化」（すなわち、メタバースプラットフォームの一部に）する。
【0062】
仮想エージェントは、仮想アクティブオブジェクトの表現を提供する。仮想エージェントは、単一の一貫したローカル世界モデルを共有する共有シミュレーション環境内に存在し得る。仮想エージェントはまた、複数のシミュレーション環境にわたって分散され、すべてが並行して実行され、独自のローカル世界モデルを維持してもよい。
【0063】
各エージェントは、ホストシステムに一貫性のあるデータ注入プロセスを提供するために、メタバース世界モデルデータを消費および共有するためのメタバースの共有環境に接続された装置と考えることができるものである。そのため、統合的に、エージェントは、メタバース全体にわたってそのプロセスを維持する。
【0064】
エージェントはまた、メタバースプロセスにおけるエラーをハンドリングし、これにより、その動作を安定に保持することを担う。メタバースエラー管理に関連する主要な概念が以下にある。
・インシデント：メタバースで推測される発展過程から脱落するイベント、
・異常：連続したインシデントの連鎖を引き起こす非通常の条件。
・崩壊：インシデントの連鎖がメタバースの矛盾した状態につながる状況、つまり一貫性の喪失および無効なデータ注入を意味する。
メタバースアプリケーションの堅牢性は、以下の基本ルールによって定義される。
・いかなるインシデントも、自動的にメタバースエージェントによってハンドリングされるので、他のインシデントをトリガしない。
・出現するいかなる異常も、メタバースの崩壊を引き起こさない。
・インシデント：メタバースで推測される発展過程から脱落するイベント、
・異常：連続したインシデントの連鎖を引き起こす非通常の条件。
・崩壊：インシデントの連鎖がメタバースの矛盾した状態につながる状況、つまり一貫性の喪失および無効なデータ注入を意味する。
メタバースアプリケーションの堅牢性は、以下の基本ルールによって定義される。
・いかなるインシデントも、自動的にメタバースエージェントによってハンドリングされるので、他のインシデントをトリガしない。
・出現するいかなる異常も、メタバースの崩壊を引き起こさない。
【0065】
これらのルールのいずれかが所与のメタバースについて失敗した場合には、対応するアプリケーションの堅牢性は不十分である。
【0066】
データ配信フレームワーク
メタバースでのデータ交換は、適切なデータ注入がリアルタイムで一貫して起こるように行われる必要がある。さらに、エンドユーザへのメタバースの表現または表示もまた、最小限の遅延で起こるべきである。様々なマシンおよびデバイスの異質なアーキテクチャと、それらの内部および外部の接続の多様性と、に起因して、実際のデータ配信は、複数の要因を有する複雑な問題となる。データ交換のプロセスは、システムの一貫性能力を保存しながら、有線および無線の、ＩＰベースおよび非ＩＰの、異なるネットワーク全体に、ならびに様々な接続プロトコルを介して、流れなければならない。ネットワーク技術（例えば、５Ｇ、Ｃ－Ｖ２Ｘなど）の進化が、一般的に低遅延アプリケーションにソリューションを提供しても、特定のソリューションを必要とする特定のギャップが依然としてある。
メタバースでのデータ交換は、適切なデータ注入がリアルタイムで一貫して起こるように行われる必要がある。さらに、エンドユーザへのメタバースの表現または表示もまた、最小限の遅延で起こるべきである。様々なマシンおよびデバイスの異質なアーキテクチャと、それらの内部および外部の接続の多様性と、に起因して、実際のデータ配信は、複数の要因を有する複雑な問題となる。データ交換のプロセスは、システムの一貫性能力を保存しながら、有線および無線の、ＩＰベースおよび非ＩＰの、異なるネットワーク全体に、ならびに様々な接続プロトコルを介して、流れなければならない。ネットワーク技術（例えば、５Ｇ、Ｃ－Ｖ２Ｘなど）の進化が、一般的に低遅延アプリケーションにソリューションを提供しても、特定のソリューションを必要とする特定のギャップが依然としてある。
【0067】
メタバース実装態様は、メタバースベースのアプリケーションを実装するためのデータ配信フレームワークで、上記の問題に対処する。これはまた、開発時間を短縮し、そのようなアプリケーションの開発およびメンテナンスを容易にする。データ配信フレームワークのコンポーネントは、実際の接続アーキテクチャおよびトポロジからメタバースアプリケーションを切り離し、アプリケーション接続設計の欠陥によって引き起こされる性能問題を最小限に抑える。
【0068】
接続性の強化を有するＤＤＳ
メタバースデータ配信フレームワークは、ＯＭＧ標準化データ配信サービス（ＤＤＳ）を主なタスクの選定のミドルウェアとして使用し、また、このフレームワークが、所与のメタバースの性能および一貫性を損ない得る回避策を導入することなく、効率的な方法で多数の問題を克服することを可能にするいくつかの機能強化を導入する。
メタバースデータ配信フレームワークは、ＯＭＧ標準化データ配信サービス（ＤＤＳ）を主なタスクの選定のミドルウェアとして使用し、また、このフレームワークが、所与のメタバースの性能および一貫性を損ない得る回避策を導入することなく、効率的な方法で多数の問題を克服することを可能にするいくつかの機能強化を導入する。
【0069】
標準的なＤＤＳは、メタバース世界モデルでデータを交換するための完璧な基礎を与える、分散されたデータ中心のアーキテクチャを提供するが、標準的なＤＤＳは、ＩＰネットワーク専用に設計される。そのような理由で、メタバース実装態様で提供される拡張機能の中に、産業用Ｍ２Ｍ（マシン間）プロトコル、Ｖ２Ｘ（ビークル万物間）、ＣＡＮ、ＦｌｅｘＲａｙなどを含むが、これらに限定されない非ＩＰネットワークを介してＤＤＳデータパケットをトンネリングする方法がある。ＤＤＳトンネリングが適用可能でない通信について、データ配信フレームワークは、透過的な代理接続を提供する。
【0070】
一方、メタバースデータ配信フレームワークは、このフレームワークの接続タスクの１００％にＤＤＳを使用せず、リアルタイムの信号伝達に代替の独自の低遅延プロトコルを使用する。
【0071】
ブーストされたＶ２Ｘスタック
高速移動するビークルを伴うアプリケーションについて、データ配信フレームワークは、既存のＶ２Ｘシステムの能力および性能を拡張する、ビークル万物間（Ｖ２Ｘ）通信のためのプロトコルのブーストされたスタックを用いる特別な接続方法を提供する。ブーストされたスタックは、以下の高度な機能を有する。
・１０ミリ秒ごとの頻度でメッセージをブロードキャストする能力（通常のＶ２Ｘシステムの１００ミリ秒レートに対して）、
・通常のＶ２Ｘシステムに対して透過的なＶ２Ｘ無線を介したメタバース関連の信号伝達を可能にし、これらのシステムの機能に影響を与えない、拡張メッセージ形式、
・ＩＥＥＥ ８０２．１１ｐおよび３ＧＰＰ Ｃ－Ｖ２Ｘを介してＤＤＳトンネリング、
・通常のＶ２Ｘシステムに対する、これらのシステムの機能に影響を与えることのない、透過的な方法での任意のＵＤＰおよびＴＣＰ接続のためのＶ２Ｘ無線を介した、ユニバーサルオーバーザトップ（ＯＴＴ）データ伝送。
高速移動するビークルを伴うアプリケーションについて、データ配信フレームワークは、既存のＶ２Ｘシステムの能力および性能を拡張する、ビークル万物間（Ｖ２Ｘ）通信のためのプロトコルのブーストされたスタックを用いる特別な接続方法を提供する。ブーストされたスタックは、以下の高度な機能を有する。
・１０ミリ秒ごとの頻度でメッセージをブロードキャストする能力（通常のＶ２Ｘシステムの１００ミリ秒レートに対して）、
・通常のＶ２Ｘシステムに対して透過的なＶ２Ｘ無線を介したメタバース関連の信号伝達を可能にし、これらのシステムの機能に影響を与えない、拡張メッセージ形式、
・ＩＥＥＥ ８０２．１１ｐおよび３ＧＰＰ Ｃ－Ｖ２Ｘを介してＤＤＳトンネリング、
・通常のＶ２Ｘシステムに対する、これらのシステムの機能に影響を与えることのない、透過的な方法での任意のＵＤＰおよびＴＣＰ接続のためのＶ２Ｘ無線を介した、ユニバーサルオーバーザトップ（ＯＴＴ）データ伝送。
【0072】
データ注入フレームワーク
データ配信とともに、メタバースエージェントはまた、エージェントがアタッチされた特定のホストオブジェクトまたはホストシステムに関連する１つ以上のデータ注入プロセスを実行する。データ注入フレームワークは、データ注入のための方法の統合的セットを具現化し、現実の物理的なプロセスによって調整される通常のデータへの人工仮想データのシームレスかつ高精度の注入を可能にする様々な制御システムおよびセンサシステムのためのリアルタイムデータ注入器を構築および展開するための標準的な方法を提供するように設計された再利用可能なソフトウェアおよびハードウェアコンポーネントの拡張可能なツールキットを提供する。
データ配信とともに、メタバースエージェントはまた、エージェントがアタッチされた特定のホストオブジェクトまたはホストシステムに関連する１つ以上のデータ注入プロセスを実行する。データ注入フレームワークは、データ注入のための方法の統合的セットを具現化し、現実の物理的なプロセスによって調整される通常のデータへの人工仮想データのシームレスかつ高精度の注入を可能にする様々な制御システムおよびセンサシステムのためのリアルタイムデータ注入器を構築および展開するための標準的な方法を提供するように設計された再利用可能なソフトウェアおよびハードウェアコンポーネントの拡張可能なツールキットを提供する。
【0073】
制御データ注入器
メタバース実装態様では、制御データの注入器は、様々な制御システム、例えば、ビークルＥＣＵ（電子制御ユニット）およびロボットＲＣＵ（ロボット制御ユニット）のために設計されており、実際の物理的プロセスによって調整される通常の制御データへの人工仮想データのシームレスで正確な注入を可能にする。
メタバース実装態様では、制御データの注入器は、様々な制御システム、例えば、ビークルＥＣＵ（電子制御ユニット）およびロボットＲＣＵ（ロボット制御ユニット）のために設計されており、実際の物理的プロセスによって調整される通常の制御データへの人工仮想データのシームレスで正確な注入を可能にする。
【0074】
メタバース内の様々なマシンは、異なる制御システムおよびデータプロトコルを有し得るが、このバリエーションは、特定の支配的な業界標準に限定され得る。メタバースプラットフォームの実際の実装態様は、以下の注入器を含む。
・ＤＤＳ注入器－上記に述べたように、メタバースプラットフォームのための最もネイティブな接続プロトコルであるＯＭＧ Ｄａｔａ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｓｅｒｖｉｃｅのためのデータ注入ロジックを提供する。ＤＤＳは、産業システム、自動車、およびロボット工学でかなり普及しているので、ＤＤＳは、広く使用されているロボットソフトウェアスイートＲＯＳ（ロボットオペレーティングシステム）の統合的な部分となっている。この注入器は、特定のタイプのマシンと、このマシンの制御ユニット間でＤＤＳを介して伝送される内部制御データの複雑さと、に応じて、多種多様なタスクを注入するかまたは取り込むことを可能にする。
・Ｖ２Ｘ注入器－ビークル万物間通信（Ｖ２Ｘ）のためのデータ注入または取り込みロジックを提供する。これは、ＩＥＥＥ ８０２．１１ｐ（ＥＴＳＩ ＩＴＳ－Ｇ５およびＷＡＶＥの両方を含む）および３ＧＰＰ Ｃ－Ｖ２Ｘに基づくＶ２Ｖ（ビークル間）およびＶ２Ｉ（ビークル基盤間）プロトコルおよびアプリケーションを含むが、これらに限定されない。例えば、この注入器は、仮想ビークルが、現実のビークルが行うようにＶ２Ｖを介して自身を提示することを可能にする。
・ＸＣＰ注入器－測定および較正システムをビークルＥＣＵに接続する自動車「汎用測定および較正プロトコル」（ＡＳＡＭ ＭＣＤ－１ ＸＣＰ）のデータ注入ロジックまたは取り込みロジックを提供する。この注入器の実際の実装態様は、ＣＡＮ、Ｅｔｈｅｒｎｅｔ、およびＦｌｅｘＲａｙ上のＸＣＰを含むが、これらに限定されない様々な物理的接続をサポートする。
・ＤＤＳ注入器－上記に述べたように、メタバースプラットフォームのための最もネイティブな接続プロトコルであるＯＭＧ Ｄａｔａ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｓｅｒｖｉｃｅのためのデータ注入ロジックを提供する。ＤＤＳは、産業システム、自動車、およびロボット工学でかなり普及しているので、ＤＤＳは、広く使用されているロボットソフトウェアスイートＲＯＳ（ロボットオペレーティングシステム）の統合的な部分となっている。この注入器は、特定のタイプのマシンと、このマシンの制御ユニット間でＤＤＳを介して伝送される内部制御データの複雑さと、に応じて、多種多様なタスクを注入するかまたは取り込むことを可能にする。
・Ｖ２Ｘ注入器－ビークル万物間通信（Ｖ２Ｘ）のためのデータ注入または取り込みロジックを提供する。これは、ＩＥＥＥ ８０２．１１ｐ（ＥＴＳＩ ＩＴＳ－Ｇ５およびＷＡＶＥの両方を含む）および３ＧＰＰ Ｃ－Ｖ２Ｘに基づくＶ２Ｖ（ビークル間）およびＶ２Ｉ（ビークル基盤間）プロトコルおよびアプリケーションを含むが、これらに限定されない。例えば、この注入器は、仮想ビークルが、現実のビークルが行うようにＶ２Ｖを介して自身を提示することを可能にする。
・ＸＣＰ注入器－測定および較正システムをビークルＥＣＵに接続する自動車「汎用測定および較正プロトコル」（ＡＳＡＭ ＭＣＤ－１ ＸＣＰ）のデータ注入ロジックまたは取り込みロジックを提供する。この注入器の実際の実装態様は、ＣＡＮ、Ｅｔｈｅｒｎｅｔ、およびＦｌｅｘＲａｙ上のＸＣＰを含むが、これらに限定されない様々な物理的接続をサポートする。
【0075】
制御データ注入器のセットは、拡張可能なツールキットであり、メタバースプラットフォームのさらなる開発の対象となり、制御データプロトコルの全範囲をカバーするより多くの注入器が提供されるであろう。
【0076】
センサデータ注入器
メタバース実装態様では、センサデータの注入器は、一般に、レーダ、ＬＩＤＡＲ（「光検出および測距」）、超音波、コンピュータビジョンカメラ、および立体視カメラを含むが、これらに限定されない、ロボットおよび自動車で使用される様々なタイプのセンサのために設計される。メタバースプラットフォームの実際の実装態様では、センサデータ注入方法は、それぞれのセンサシステムの信号処理チェーンへのセンサデータ注入器のプラグイン挿入に基づいており、これは、データ出力の変更が、これらのセンサシステムの主要な低レベル信号処理モジュールから、すなわち、センサ情報を解釈するハイレベル処理モジュールによってデータが受信される前に生じることを意味する。
メタバース実装態様では、センサデータの注入器は、一般に、レーダ、ＬＩＤＡＲ（「光検出および測距」）、超音波、コンピュータビジョンカメラ、および立体視カメラを含むが、これらに限定されない、ロボットおよび自動車で使用される様々なタイプのセンサのために設計される。メタバースプラットフォームの実際の実装態様では、センサデータ注入方法は、それぞれのセンサシステムの信号処理チェーンへのセンサデータ注入器のプラグイン挿入に基づいており、これは、データ出力の変更が、これらのセンサシステムの主要な低レベル信号処理モジュールから、すなわち、センサ情報を解釈するハイレベル処理モジュールによってデータが受信される前に生じることを意味する。
【0077】
メタバース実装態様は、現実の物理的なオブジェクトおよび条件を反映して、人工仮想オブジェクトおよび条件を通常のセンサデータにシームレスかつ正確に注入することを可能にする、様々なセンサデータ形式とこれらの形式のデータ処理システムとのために設計された方法のセットを提供する。
【0078】
現実性を高めるセンサデータ注入の重要な要素のうちの１つは、信号ノイズおよび欠陥のシミュレーションである。そのため、それはまた、それぞれのセンサデータ注入方法の一部になる。センサデータ注入方法は、以下の形態のデジタル信号をサポートする。
・イメージベースのセンサ信号－通常は特定のフレームレートで２Ｄシリアル画像を出力する任意のセンサ（例えば、ビデオカメラまたはＳＡＲレーダ）、
・ポイントクラウドに基づくセンサ信号－３Ｄポイントクラウドデータを出力するセンサ（例えば、ＬＩＤＡＲ、コンピュータビジョンシステム、および立体カメラ）、
・シリアルデータに基づくセンサ信号－一連のバイトで数値特性を出力する任意のセンサ（例えば、超音波センサ、いくつかのレーダ、温度、速度センサなど）
センサデータ注入は上記のアルゴリズムに限定されず、この方法は、より特殊なデジタルまたはアナログセンサシステムに合わせて調整することを可能とする。
・イメージベースのセンサ信号－通常は特定のフレームレートで２Ｄシリアル画像を出力する任意のセンサ（例えば、ビデオカメラまたはＳＡＲレーダ）、
・ポイントクラウドに基づくセンサ信号－３Ｄポイントクラウドデータを出力するセンサ（例えば、ＬＩＤＡＲ、コンピュータビジョンシステム、および立体カメラ）、
・シリアルデータに基づくセンサ信号－一連のバイトで数値特性を出力する任意のセンサ（例えば、超音波センサ、いくつかのレーダ、温度、速度センサなど）
センサデータ注入は上記のアルゴリズムに限定されず、この方法は、より特殊なデジタルまたはアナログセンサシステムに合わせて調整することを可能とする。
【0079】
ハイレベルデータ注入器
上記のデータ注入の方法のほとんどの単純な代理として、ハイレベル注入器が、マシンのハイレベルシステム（例えば、ＡＤＳソフトウェア）への、このシステムの制御ユニットおよびセンサユニットのより低レベルの任意のデータを変更することのない、仮想データの組み込みを提供する。この方法は、マシンへのメタバースエージェントのより簡単な統合を可能にするが、そのようなメタバース実装態様の全体的な疑似リアリズムに特定の危殆をもたらす。この種のデータ注入方法は、これがセンサおよび／または制御データを解釈することから行われたのと丁度同じように、すでに分類され、特徴付けられたオブジェクトを注入することによって動作する。この方法は、仮想オブジェクト、条件、イベントのエンドツーエンドのシミュレーションが必要とされないシナリオについてうまく機能する。
上記のデータ注入の方法のほとんどの単純な代理として、ハイレベル注入器が、マシンのハイレベルシステム（例えば、ＡＤＳソフトウェア）への、このシステムの制御ユニットおよびセンサユニットのより低レベルの任意のデータを変更することのない、仮想データの組み込みを提供する。この方法は、マシンへのメタバースエージェントのより簡単な統合を可能にするが、そのようなメタバース実装態様の全体的な疑似リアリズムに特定の危殆をもたらす。この種のデータ注入方法は、これがセンサおよび／または制御データを解釈することから行われたのと丁度同じように、すでに分類され、特徴付けられたオブジェクトを注入することによって動作する。この方法は、仮想オブジェクト、条件、イベントのエンドツーエンドのシミュレーションが必要とされないシナリオについてうまく機能する。
【0080】
表現フレームワーク
メタバース実装態様は、人間の相互作用の特定のツールに合わせて調整されたものではない。それどころか、メタバース実装態様は、シングルスクリーンビデオディスプレイまたはマルチスクリーンビデオディスプレイ、モバイル端末およびリモートコントローラ、ＶＲ／ＡＲヘッドセット、ユーザモーショントラッカとのインターフェース、ダイレクトマニピュレーションインターフェースおよびタンジブルインターフェースを含むが、これらに限定されない、既存および将来のユーザインターフェースとの統合が可能であるように設計されている。このことは、多層構造のメタバース世界モデル表現を有するソフトウェア統合ツールキットによって達成され、オブジェクトの様々な特性は、特定の表現レイヤーに対する特定の親和性を有する。これらの層の各々を、チャネルとも呼ばれる特定の表現方法に割り当てることができ、これは、特定のユーザインターフェースコンポーネントおよびそれぞれのデバイスによって供される。
メタバース実装態様は、人間の相互作用の特定のツールに合わせて調整されたものではない。それどころか、メタバース実装態様は、シングルスクリーンビデオディスプレイまたはマルチスクリーンビデオディスプレイ、モバイル端末およびリモートコントローラ、ＶＲ／ＡＲヘッドセット、ユーザモーショントラッカとのインターフェース、ダイレクトマニピュレーションインターフェースおよびタンジブルインターフェースを含むが、これらに限定されない、既存および将来のユーザインターフェースとの統合が可能であるように設計されている。このことは、多層構造のメタバース世界モデル表現を有するソフトウェア統合ツールキットによって達成され、オブジェクトの様々な特性は、特定の表現レイヤーに対する特定の親和性を有する。これらの層の各々を、チャネルとも呼ばれる特定の表現方法に割り当てることができ、これは、特定のユーザインターフェースコンポーネントおよびそれぞれのデバイスによって供される。
【0081】
実際的な実装態様
以下の図１は、典型的な自律型または半自律型ビークルのハイレベルなアーキテクチャを示す。様々なセンサ（例えば、ＬＩＤＡＲ、コンピュータビジョン、レーダ）は、センサによって感知されたオブジェクト、近くのビークル、前方の道路、および一般的な環境を識別および追跡する知覚サブシステムにデータを供給する。知覚サブシステムは、ローカル世界モデルのデータを形成し、カップリングされた自己位置推定および環境地図作成サブシステムと相互動作する。
以下の図１は、典型的な自律型または半自律型ビークルのハイレベルなアーキテクチャを示す。様々なセンサ（例えば、ＬＩＤＡＲ、コンピュータビジョン、レーダ）は、センサによって感知されたオブジェクト、近くのビークル、前方の道路、および一般的な環境を識別および追跡する知覚サブシステムにデータを供給する。知覚サブシステムは、ローカル世界モデルのデータを形成し、カップリングされた自己位置推定および環境地図作成サブシステムと相互動作する。
【0082】
他のデータソース（例えば、地図データ、ビークル間通信）は、自己位置推定および環境地図作成サブシステムと共有され、当該システムは、ローカル世界モデルも供給する。ローカル世界モデルは、到来するすべてのデータを統合するかまたは組み合わせて、すべてのデータ入力の単一の一貫性のある空間マッピングされるビューにし、次いで、ローカル世界モデルは、計画および制御サブシステムにデータを提供し、このサブシステムは、送信されたデータのすべてを考慮して動的な経路計画を実行し、ビークルアクチュエータ（例えば、ブレーキ、ステアリング、加速度計、インジケータライトなど）を制御する。
【0083】
図２は、本質的なドライブバイワイヤ能力を有し、そのような理由で自動運転プラットフォームの開発に広く使用されている、トヨタプリウス（登録商標）のような大量生産車などの、制限された、アクセス可能なプログラマビリティを有するビークルの自律型運転システム内のＲｏｂｏｒａｃｅメタバースプラットフォームの統合を示す。図１に示すＡＤＳソフトウェアアーキテクチャに加えて、ここでは、メタバースプラットフォームの基本的な要素、すなわち「仮想世界」とも呼ばれるメタバース世界モデルがあり、このモデルには、従来のセンサやビークル内の他のデータソースからのデータと融合される仮想オブジェクト、イベント、または条件が追加されており、例えば、ＡＤＳがこれらのオブジェクト、イベント、または条件にどのくらい対応しているかを試験する。このメタバース世界モデルは、ビークルに既存のローカル世界モデルとは完全に分離され、独立している。メタバース世界モデルは、ビークル外で生成されるか、またはビークルの動作とは独立に生成された仮想データをキャプチャし、それは、メタバース世界モデルに空間マッピングされる。世界モデルは、世界モデルに注入されたオブジェクト、イベント、および条件を追跡するメタバースエージェントサブシステムにデータを送信し、ハイレベルデータ注入器サブシステムに出力を提供し、ハイレベルデータ注入器サブシステムは、オブジェクト、イベント、および条件を、ビークルのセンサおよびその他のデータソースからのデータを集約するローカル世界モデルと互換性のある形式に処理する。このようにして、仮想オブジェクト、イベント、および条件は、ビークルＡＤＳに入力され、それらは、それらがビークルに存在していてもこれらのシステムに触れることなく、ＬＩＤＡＲ、レーダ、およびコンピュータビジョンサブシステムのような、ビークル内の既存のデータソースと同等な他のデータソースであるかのように扱われる。メタバースエージェントサブシステムはまた、表現フレームワークに出力を提供するので、仮想オブジェクト、イベント、または条件は、エンドユーザ、例えば、ｅスポーツチャネルまたはテレビ放送などの対話型ビデオストリーミングサービスを視聴しているオーディエンスに、視覚的に表現できる。
【0084】
図３は、例えば、本格的なドライブバイワイヤプラットフォーム、およびカメラ、ＬＩＤＡＲ、レーダ、コンピュータビジョン、超音波などのセンサの完全にアクセス可能な包括的なシステムを有する、Ｒｏｂｏｃａｒ（登録商標）自律型レーシングビークルなどの完全にプログラマブルなビークル上の統合されたスタンドアロンメタバースエージェントを有するＡＤＳソフトウェアアーキテクチャを示す。これは、図２に記載された基本システムの上に確立する。図２のシステムで作成されたハイレベルの仮想データに加えて、ここでは、世界モデルにおいて仮想センサデータを作成し、この仮想データを、センサデータ注入器サブシステムを介して送信して、ビークルの既存のセンサからのセンサデータと統合する。また、世界モデルにおいて仮想制御データを作成し、この仮想データを、制御データ注入器サブシステムを介して送信し、知覚サブシステムおよびさらには自己位置推定および環境地図作成サブシステムの制御データと統合する。
【0085】
図４は、ここでは他のエージェントとの共有データ交換でさらに強化された、図３のシステムを示し、このシステムは、完全なマルチエージェントメタバース実装態様である。図３では、単一のエージェント実装態様は、効果的な単一のエージェントは、単一のビークルのみに関連する。しかし、自律型ビークルまたは半自律型ビークルは、より高い状況認識のために、および緊密に同期した速度で密接に間隔を置いたビークルの長いチェーンを形成し、互いに追い越し、様々な条件で他のビークルまたはオブジェクトに対して他の操作を行うような、新しい共働的な運転モードを可能にするために、近くのビークルとデータを共有する。このことをモデル化するには、完全なマルチエージェントメタバース実装態様が必要とされ、図４に示すように、エージェントが共通のメタバース世界モデルを共有し、各エージェントが効果的にこれらの近くの現実または仮想のビークルおよびオブジェクトによって生成された仮想の感覚データおよび制御データをモデル化する。
【0086】
ユースケース
ここでユースケースに移行するために、Ｒｏｂｏｒａｃｅ（登録商標）プラットフォームによって実装され、フィールドで実証されている一例は、メタバース自律型ビークル試験およびレーシングプログラムを実装し、基本的な表現層は、レーストラックに設置されたカメラから伝送され、かつ（従来のフレームビデオまたは／および立体視３６０ビューとしての）様々な視点を与えるビデオストリームのセットであり得る。この層は、このメタバース内のすべての現実のオブジェクトの十分な表現を提供する。この基本層の上に、様々なメディアチャネルの仮想オブジェクトを視覚化する１つ以上の表現層（オーバーレイ）があり得る。そのため、メタバース世界モデルの特定の表現は、Ｕｎｒｅａｌ Ｅｎｇｉｎｅ、Ｕｎｉｔｙ、ＣｒｙＥｎｇｉｎｅまたは他の任意のもののようなリアルタイムグラフィックスエンジンで３Ｄシーンとしてレンダリングできる。これらの仮想オーバーレイを、すべてがオーディエンスのブレンドされたシーンになるように、リアルタイムのビデオ挿入ツール、対応するデバイス、およびユーザインターフェースを含む適切なツールを使用して、基礎となるビデオストリームに適用することができる。メタバース表現フレームワークは、このプロセスに十分なデータを提供し、また、このプロセスの完全な一貫性を保証する。
ここでユースケースに移行するために、Ｒｏｂｏｒａｃｅ（登録商標）プラットフォームによって実装され、フィールドで実証されている一例は、メタバース自律型ビークル試験およびレーシングプログラムを実装し、基本的な表現層は、レーストラックに設置されたカメラから伝送され、かつ（従来のフレームビデオまたは／および立体視３６０ビューとしての）様々な視点を与えるビデオストリームのセットであり得る。この層は、このメタバース内のすべての現実のオブジェクトの十分な表現を提供する。この基本層の上に、様々なメディアチャネルの仮想オブジェクトを視覚化する１つ以上の表現層（オーバーレイ）があり得る。そのため、メタバース世界モデルの特定の表現は、Ｕｎｒｅａｌ Ｅｎｇｉｎｅ、Ｕｎｉｔｙ、ＣｒｙＥｎｇｉｎｅまたは他の任意のもののようなリアルタイムグラフィックスエンジンで３Ｄシーンとしてレンダリングできる。これらの仮想オーバーレイを、すべてがオーディエンスのブレンドされたシーンになるように、リアルタイムのビデオ挿入ツール、対応するデバイス、およびユーザインターフェースを含む適切なツールを使用して、基礎となるビデオストリームに適用することができる。メタバース表現フレームワークは、このプロセスに十分なデータを提供し、また、このプロセスの完全な一貫性を保証する。
【0087】
仮想オブジェクトは、レーストラックまたはレーシングエリアの一貫したまたは永続的な特徴である仮想障害または条件を含むことができ、これにより、エンジニアまたはテストサーキットデザイナーは、非常に極端なシケイン、スキッドパン、アイストラックなどの、現実世界で構築するには非常に高価（そしておそらく不可能）であろうレースまたは実証トラックに興味深い必要な特徴を追加することが可能になる。それゆえ、自律型ビークル計画および制御システムは、（例えば、仮想世界試験レジームに具現化された強制的な政府の性能規制に対して）迅速に試験および評価できる。
【0088】
仮想オブジェクトは、突然導入され、一過性であり、静的である場合もあれば、移動する場合もある仮想の障害物または条件、例えば、道路を横切って走る仮想子供、または前方でスピンして制御不能になる仮想ビークル、を含むことができる。道路を横切って走る仮想子供、または前方でスピンして制御不能になる仮想ビークルの迅速な識別は、すべての近くの現実および仮想のビークル、道路障壁などを回避するビークルの動力学（例えば、特定の気象条件および路面条件での所与のタイヤでのブレーキまたは加速能力、急激な方向変化の下でのビークルの安定性）を考慮して、自律型ビークルが新しい危険の複雑でほぼ瞬時に識別、追跡、および評価を行い、ルートを動的に再計画し、かつ／または緊急ブレーキアクションを取ることが必要とされ、そのため、すべてのセンサから完全な状況認識と、競合するシナリオ間の迅速で動的なトレードオフを行う能力を必要とする。種々のロボット「倫理」計画システムを試験することができ、例えば、トラックを横切って走る仮想子供を回避する際に、ビークルがその子供を回避するために回り込むが、その際に近くの現実世界の車に衝突するリスクがある場合、オーディエンスが現実にどのように反応するかを探る。
【0089】
より遅いペースで、ビークルは、時速５または１０ｋｍ以下で移動する配送ドローンであり得、仮想オブジェクトは、歩行者、サイクリスト、ペット、車などの、配送ドローンであれば遭遇するであろう典型的なオブジェクトを含み得る。ここでも、このプラットフォームは、継続的に変化する環境を迅速に識別、追跡、および評価し、かつ競合するシナリオ間で複雑な迅速、動的なトレードオフを行う、ドローンの能力の迅速な試験および評価を可能にする。
【0090】
ソフトウェアアルゴリズムのアップグレードおよび変更は、これらのハイブリッドの現実世界および仮想世界のシナリオで迅速に提供および試験でき、現実世界のみの試験に限定された試験で可能であるよりもはるかに広範囲のシナリオに対するアルゴリズムの改善および試験の迅速さを大幅に向上させる。競争シナリオでは、ビークルの試験および開発シナリオではなく、仮想オブジェクトを観客または観客が導入して、ビークルのうちのいくつかまたはすべてに挑戦することができ、現実世界のビークル間のレースは、先頭ビークルがそのパスを横切る仮想動物のような特定のチャレンジを提示されて、かつそのビークルが動物をうまく回避できなかった場合には、先頭ビークルは、自動的に２位に移動するか、または何らかの他のペナルティを受けることが必要とされ、一方、先頭ビークルがうまく動物を回避した場合、先頭ビークルに、いくらかのボーナスポイントまたは何らかの他の報酬を与えることができる。その仮想障害物を、ＴＶディレクターまたは放送ディレクターが追加して、さらなる関心および興奮を与えることができるか、または、他のチームまたはビークルのファンが、自分たちの競争者の前に配置するためにこれらの障害物を購入するのに費やすことができるポイントをオンラインで購入することができる。
【0091】
仮想オブジェクトは、突然導入され、回避されるべきではなく、代わりに通過される仮想障害物または条件を含むことができる（例えば、競争でビークルボーナスポイントを獲得し、または最適な経路またはルートを定義し、それゆえ障害物回避性能を改善する）。報酬／ポイントを獲得するために、またはペナルティを受けないためにビークルが通過しなければならないこれらの仮想報酬（前に「戦利品」と呼ばれた）は、ＴＶディレクターまたは放送ディレクターによって追加されたり、そのビークルのファンによって購入されたりすることが可能である。図５および図６は、回避すべき仮想障害物のあるレーストラックを実線のボックスとして示し、走行すべき領域を点線のボックスとして示す。この視点は、ｅスポーツまたはＴＶ放送の一部として送信できる。実際には、オーディエンスにはこれらの境界ボックスは示されず、代わりに視覚的に適切なものが示される。図７は、トラック上に大きな仮想障害物が置かれたレーストラックをどのようにこのオーディエンスに見せるかを示し、ビークルは、障害物を避けるように示されている。図８は、ビークルが仮想障害物を通って走行した場合に、好適な物理学でプログラムされた仮想オブジェクト何が起こるかを示し、崩壊によって衝撃に反応し、レーストラックを横切って劇的に飛ぶ破片が示されている。図９は、追い抜かれることによって取られた戦利品報酬の可能な視覚化についての同様のケースを示し、戦利品は、垂直に爆発する。
【0092】
システムは、自律型ビークルに限定されず、例えば、仮想障害物または戦利品がレースコントローラによってまたはオーディエンス投票などによって追加される従来のＦ１またはフォーミュラＥモータースポーツでも使用され得、人間の運転者は、追加された仮想障害物または戦利品を表示することができるヘッドアップディスプレイまたは拡張現実眼鏡を有する。この変形例では、データフュージョンシステムは、前方の経路およびローカル環境をマッピングしているビークル内ＬＩＤＡＲ、立体カメラ、および他のセンサを含み、それにより、ヘッドアップディスプレイまたは拡張現実眼鏡は、視野内にある前方の経路および他の車の正確なビュー（簡略化され得るか、または写実的なもしくは実際のリアルタイムビデオであり得る）をキャプチャし、表示する。次いで、データフュージョンシステムは、仮想オブジェクト（例えば、障害物または報酬／戦利品）が、前方のルート上に（または関連して）正しく配置された、ヘッドアップディスプレイまたは拡張現実眼鏡に示され、運転者がそれらを明確に見て、それらを回避する（障害物の場合）、またはそれらを通過する（戦利品の場合）ように操舵できるようにする。在宅の視聴者は、現実世界の車が現実世界のトラックに沿ってレースしているのを見て、リアルタイムのビデオ挿入技術、仮想障害物または報酬を使用して仮想障害物または報酬をトラック上に重畳し、運転者が障害物または報酬を通過した場合には、（図８～図９に示すように）仮想障害物または報酬の適切なアニメーションが発生する。
【0093】
重要な特徴
メタバースプラットフォームのコア特徴を、以下のように一般化することができる。
Ａ．現実世界のビークルで使用するためのデータフュージョンシステムであって、ビークルが、現実世界の領域に空間マッピングされるセンサデータを生成する複数のデータソースを含み、データフュージョンシステムが、（ｉ）空間マッピングされるセンサデータを、（ｉｉ）ビークル外で生成されたか、またはビークルの内外を問わず、ビークルもしくはビークルの動作とは独立に生成され、また仮想世界に空間マッピングされる仮想データと、融合させるかまたは統合するように構成されている、データフュージョンシステム。
Ｂ．上記に定義されるデータフュージョンシステムを含む、ビークル。
Ｃ．ビークルを開発するか、改善するか、または試験する方法であって、ビークルが、上記に定義されるデータフュージョンシステムを含み、仮想オブジェクト、イベント、または条件が、ビークルがそれらの仮想オブジェクト、イベント、または条件にどのように応答するかを試験するために、データフュージョンシステムによって処理される仮想世界に追加される、方法。
Ｄ．ビークルであって、上記に定義される方法を使用して開発されたか、改善されたか、または試験された、ビークル。
Ｅ．ゲームまたは他のエンターテインメントシステムであって、上記に定義されるデータフュージョンシステムを含むビークルを表示するか、または別様に特徴とする画像を生成する、ゲームまたは他のエンターテインメントシステム。
メタバースプラットフォームのコア特徴を、以下のように一般化することができる。
Ａ．現実世界のビークルで使用するためのデータフュージョンシステムであって、ビークルが、現実世界の領域に空間マッピングされるセンサデータを生成する複数のデータソースを含み、データフュージョンシステムが、（ｉ）空間マッピングされるセンサデータを、（ｉｉ）ビークル外で生成されたか、またはビークルの内外を問わず、ビークルもしくはビークルの動作とは独立に生成され、また仮想世界に空間マッピングされる仮想データと、融合させるかまたは統合するように構成されている、データフュージョンシステム。
Ｂ．上記に定義されるデータフュージョンシステムを含む、ビークル。
Ｃ．ビークルを開発するか、改善するか、または試験する方法であって、ビークルが、上記に定義されるデータフュージョンシステムを含み、仮想オブジェクト、イベント、または条件が、ビークルがそれらの仮想オブジェクト、イベント、または条件にどのように応答するかを試験するために、データフュージョンシステムによって処理される仮想世界に追加される、方法。
Ｄ．ビークルであって、上記に定義される方法を使用して開発されたか、改善されたか、または試験された、ビークル。
Ｅ．ゲームまたは他のエンターテインメントシステムであって、上記に定義されるデータフュージョンシステムを含むビークルを表示するか、または別様に特徴とする画像を生成する、ゲームまたは他のエンターテインメントシステム。
【0094】
補助的特徴を、以下の１３分野に整理することができる。任意の補助的特徴を、任意の他の補助的特徴と組み合わせることができ、上記に列挙されたすべての主要な特徴は、これらの補助的特徴のうちのいずれか１つ以上と組み合わせることができることに留意されたい。
・データフュージョン
・世界モデル
・仮想世界
・現実世界
・エージェント
・データ配信フレームワーク
・データ注入フレームワーク
・データ注入器
・表現フレームワーク
・ビークル制御
・ビークル
・オーディエンスエクスペリエンス
・競技形式
・データフュージョン
・世界モデル
・仮想世界
・現実世界
・エージェント
・データ配信フレームワーク
・データ注入フレームワーク
・データ注入器
・表現フレームワーク
・ビークル制御
・ビークル
・オーディエンスエクスペリエンス
・競技形式
【0095】
データフュージョン
・データソースが制御データを生成し、データフュージョンシステムが、制御データおよびセンサデータを、仮想データと融合させるかまたは統合するようにさらに構成されている、データフュージョンシステム。
・融合されたかまたは統合された（ｉ）センサデータおよび／または制御データならびに（ｉｉ）仮想データが、融合されたかまたは統合されたデータ入力に依存してビークルを制御する現実世界のビークル制御システムに供給される、データフュージョンシステム。
・ビークルが、融合されたかまたは統合された（ｉ）空間マッピングされるセンサデータおよび／または制御データならびに（ｉｉ）空間マッピングされる仮想データに、自律的に応答するように構成される、データフュージョンシステム。
・ビークル制御システムによって生成されたデータは、同様に（ｉ）センサデータおよび／または制御データならびに（ｉｉ）仮想データと、融合されるかまたは統合されている。
・データの融合または統合は、ほぼゼロ待ち時間で行われる。
・データハンドリングコンポーネント（「データ注入器」）は、センサデータを仮想データと融合させるかまたは統合する機能を実行する。
・データハンドリングコンポーネント（「データ注入器」）は、（ｉ）仮想データをハンドリングすること、（ｉｉ）仮想データがセンサデータおよび／または制御データおよび／またはＡＤＳローカル世界モデルと融合され得るか、マージされ得るか、または統合され得るように、センサデータおよび／または制御データをハンドリングするビークルサブシステムに仮想データを渡すこと、のいずれかの機能を実行する。
・データソースが制御データを生成し、データフュージョンシステムが、制御データおよびセンサデータを、仮想データと融合させるかまたは統合するようにさらに構成されている、データフュージョンシステム。
・融合されたかまたは統合された（ｉ）センサデータおよび／または制御データならびに（ｉｉ）仮想データが、融合されたかまたは統合されたデータ入力に依存してビークルを制御する現実世界のビークル制御システムに供給される、データフュージョンシステム。
・ビークルが、融合されたかまたは統合された（ｉ）空間マッピングされるセンサデータおよび／または制御データならびに（ｉｉ）空間マッピングされる仮想データに、自律的に応答するように構成される、データフュージョンシステム。
・ビークル制御システムによって生成されたデータは、同様に（ｉ）センサデータおよび／または制御データならびに（ｉｉ）仮想データと、融合されるかまたは統合されている。
・データの融合または統合は、ほぼゼロ待ち時間で行われる。
・データハンドリングコンポーネント（「データ注入器」）は、センサデータを仮想データと融合させるかまたは統合する機能を実行する。
・データハンドリングコンポーネント（「データ注入器」）は、（ｉ）仮想データをハンドリングすること、（ｉｉ）仮想データがセンサデータおよび／または制御データおよび／またはＡＤＳローカル世界モデルと融合され得るか、マージされ得るか、または統合され得るように、センサデータおよび／または制御データをハンドリングするビークルサブシステムに仮想データを渡すこと、のいずれかの機能を実行する。
【0096】
世界モデル（例えば、図２、３、および４の拡張ローカル世界モデル）
・データフュージョンシステムは、（ｉ）センサデータおよび／または制御データならびに（ｉｉ）仮想データを、単一の世界モデルに融合させるかまたは統合する。
・単一の世界モデルは、（ｉ）センサデータおよび／または制御データと、（ｉｉ）仮想データとの任意の差異を調整するグローバル状態の単一の統一された表現である融合された空間マッピングされる世界である。
・データフュージョンシステムは、（ｉ）空間マッピングされる現実世界の領域を含む１つ以上の現実世界のソースと、（ｉｉ）現実世界の領域に対応する空間マッピングされる仮想世界の領域を含む１つ以上の仮想世界のソースと、から生成された世界モデルを使用する。
・世界モデルは、（ｉ）完全にビークル内にあるか、または（ｉｉ）ビークル内メモリとビークルの外部のメモリとの間で分散されているか、または（ｉｉｉ）完全にビークル外にあるメモリに、常駐するかまたは記憶されている。
・世界モデルは、オブジェクト、条件、およびイベント、のうちの１つ以上を含み、オブジェクトは、現実世界および仮想世界の空間マッピングされる要素またはものを指定し、条件は、現実世界および仮想世界の空間マッピングされる領域の周辺環境を特徴付け、イベントは、定義された状況でオブジェクトがどのように挙動するかまたは反応するかを指定する。
・データフュージョンシステムは、世界モデル内のオブジェクトの次の最も可能性が高い状態を予測する。
・世界モデル内のオブジェクトの次の最も可能性が高い状態は、デッドレコニングと、数学的外挿の方法と、カルマンフィルタリングと、深層学習推論と、ビークルタイヤ動力学のパチェカモデル、または未知の環境での自己位置推定のためのＳＬＡＭのような、特定の問題解決方法と、の手法のうちの１つ以上を使用して予測される。
・データフュージョンシステムは、次の最も可能性が高い状態のリアルタイムデータ処理および計算を実行するが、ローカル世界モデルを修正するかまたは形成するアクションに一時的に関与するオブジェクトに対してのみ実行する。
・データフュージョンシステムは、（ｉ）センサデータおよび／または制御データならびに（ｉｉ）仮想データを、単一の世界モデルに融合させるかまたは統合する。
・単一の世界モデルは、（ｉ）センサデータおよび／または制御データと、（ｉｉ）仮想データとの任意の差異を調整するグローバル状態の単一の統一された表現である融合された空間マッピングされる世界である。
・データフュージョンシステムは、（ｉ）空間マッピングされる現実世界の領域を含む１つ以上の現実世界のソースと、（ｉｉ）現実世界の領域に対応する空間マッピングされる仮想世界の領域を含む１つ以上の仮想世界のソースと、から生成された世界モデルを使用する。
・世界モデルは、（ｉ）完全にビークル内にあるか、または（ｉｉ）ビークル内メモリとビークルの外部のメモリとの間で分散されているか、または（ｉｉｉ）完全にビークル外にあるメモリに、常駐するかまたは記憶されている。
・世界モデルは、オブジェクト、条件、およびイベント、のうちの１つ以上を含み、オブジェクトは、現実世界および仮想世界の空間マッピングされる要素またはものを指定し、条件は、現実世界および仮想世界の空間マッピングされる領域の周辺環境を特徴付け、イベントは、定義された状況でオブジェクトがどのように挙動するかまたは反応するかを指定する。
・データフュージョンシステムは、世界モデル内のオブジェクトの次の最も可能性が高い状態を予測する。
・世界モデル内のオブジェクトの次の最も可能性が高い状態は、デッドレコニングと、数学的外挿の方法と、カルマンフィルタリングと、深層学習推論と、ビークルタイヤ動力学のパチェカモデル、または未知の環境での自己位置推定のためのＳＬＡＭのような、特定の問題解決方法と、の手法のうちの１つ以上を使用して予測される。
・データフュージョンシステムは、次の最も可能性が高い状態のリアルタイムデータ処理および計算を実行するが、ローカル世界モデルを修正するかまたは形成するアクションに一時的に関与するオブジェクトに対してのみ実行する。
【0097】
仮想世界（例えば、図２、３、４のメタバース世界モデル）
・空間マッピングされる仮想データは、空間マッピングされる仮想世界内で生成される。
・仮想世界は、ビークルシステムの外部のシステムで作成され、ビークルとは独立に制御され、ビークルまたはビークル内の任意のセンサまたは制御システムによって生成されない。
・仮想世界は、完全にビークルの外部に存在し、同じ空間マッピングを共有するか、またはそうでなければ（ｉ）完全にビークル内にあるか、もしくは（ｉｉ）ビークル内メモリとビークルの外部のメモリとの間で分散されるか、もしくは（ｉｉｉ）完全にビークル外にあるメモリに常駐するかもしくは記憶された世界モデルに対応する。
・仮想データは、ビークルが移動するかまたは動作する世界を少なくとも部分的にミラーリングしたデータであるか、当該世界と空間的に一致するデータであるか、または当該世界に空間的に意気を上げさせるデータを含む。
・仮想データは、イベント、条件、またはオブジェクトのうちの１つ以上を含み、イベント、条件、またはオブジェクトは、それらが実際の現実世界のイベント、条件、またはオブジェクトであるかのようにビークル内センサが反応するように現れるか、またはビークル内センサのうちのいくつかもしくはすべてからのデータと融合されるデータを提供する。
・仮想データは、イベント、条件、またはオブジェクトのうちの１つ以上を含み、イベント、条件、またはオブジェクトは、それらがビークル内センサのうちのいくつかまたはすべてによって検出された実際のイベント、条件、またはオブジェクトであるかのように、現実世界のビークル制御システムに現れる。
・仮想データは、イベント、条件、またはオブジェクトのうちの１つ以上を含み、イベント、条件、またはオブジェクトが、現実世界のビークル制御がイベント、条件、またはオブジェクトにどのくらい効果的に反応するかを試験するために追加される。
・仮想データは、仮想人物、円すい形標識、障壁、標識、建物、または他のビークルなどの、ビークルが回避しなければならないオブジェクトを含む。
・仮想データは、雨、霧、氷、段差のある路面などの、ビークルが反応しなければならないオブジェクトおよび／または条件を含む。
・仮想データは、戦利品、ルート経路、交差点、出入口などの、ビークルが通過しなければならないオブジェクトを含む。
・仮想データは、レース、ゲーム、または競技でポイントを獲得するためにビークルが通過しなければならないオブジェクトまたは戦利品を含む。
・仮想データは、レース、ゲーム、または競技でポイントを獲得するためにビークルが通過しなければならないオブジェクトまたは戦利品を含み、これらは、仮想人物、障壁、標識、または他のビークルなどの、ビークルが回避しなければならない仮想または現実のオブジェクトの近くに配置される。
・仮想データは、ｅスポーツストリーミング、テレビ、ゲーム、映画などのメディアエンターテインメントの一部を形成するためのオブジェクトおよび／または条件を含む。
・仮想データは、ビークル試験または開発プログラムの一部を形成するためのオブジェクトおよび／または条件のうちの１つ以上を含む。
・空間マッピングされる仮想データは、空間マッピングされる仮想世界内で生成される。
・仮想世界は、ビークルシステムの外部のシステムで作成され、ビークルとは独立に制御され、ビークルまたはビークル内の任意のセンサまたは制御システムによって生成されない。
・仮想世界は、完全にビークルの外部に存在し、同じ空間マッピングを共有するか、またはそうでなければ（ｉ）完全にビークル内にあるか、もしくは（ｉｉ）ビークル内メモリとビークルの外部のメモリとの間で分散されるか、もしくは（ｉｉｉ）完全にビークル外にあるメモリに常駐するかもしくは記憶された世界モデルに対応する。
・仮想データは、ビークルが移動するかまたは動作する世界を少なくとも部分的にミラーリングしたデータであるか、当該世界と空間的に一致するデータであるか、または当該世界に空間的に意気を上げさせるデータを含む。
・仮想データは、イベント、条件、またはオブジェクトのうちの１つ以上を含み、イベント、条件、またはオブジェクトは、それらが実際の現実世界のイベント、条件、またはオブジェクトであるかのようにビークル内センサが反応するように現れるか、またはビークル内センサのうちのいくつかもしくはすべてからのデータと融合されるデータを提供する。
・仮想データは、イベント、条件、またはオブジェクトのうちの１つ以上を含み、イベント、条件、またはオブジェクトは、それらがビークル内センサのうちのいくつかまたはすべてによって検出された実際のイベント、条件、またはオブジェクトであるかのように、現実世界のビークル制御システムに現れる。
・仮想データは、イベント、条件、またはオブジェクトのうちの１つ以上を含み、イベント、条件、またはオブジェクトが、現実世界のビークル制御がイベント、条件、またはオブジェクトにどのくらい効果的に反応するかを試験するために追加される。
・仮想データは、仮想人物、円すい形標識、障壁、標識、建物、または他のビークルなどの、ビークルが回避しなければならないオブジェクトを含む。
・仮想データは、雨、霧、氷、段差のある路面などの、ビークルが反応しなければならないオブジェクトおよび／または条件を含む。
・仮想データは、戦利品、ルート経路、交差点、出入口などの、ビークルが通過しなければならないオブジェクトを含む。
・仮想データは、レース、ゲーム、または競技でポイントを獲得するためにビークルが通過しなければならないオブジェクトまたは戦利品を含む。
・仮想データは、レース、ゲーム、または競技でポイントを獲得するためにビークルが通過しなければならないオブジェクトまたは戦利品を含み、これらは、仮想人物、障壁、標識、または他のビークルなどの、ビークルが回避しなければならない仮想または現実のオブジェクトの近くに配置される。
・仮想データは、ｅスポーツストリーミング、テレビ、ゲーム、映画などのメディアエンターテインメントの一部を形成するためのオブジェクトおよび／または条件を含む。
・仮想データは、ビークル試験または開発プログラムの一部を形成するためのオブジェクトおよび／または条件のうちの１つ以上を含む。
【0098】
現実世界
・データフュージョンシステムは、他のビークル、ロボット、ドローン、および人物の現実世界の場所、ローカル地形、ビークルが走行しているルートまたは道路、交通信号の任意の状態、時刻、天候条件、道路のタイプ、天候、駐車場の場所、および車庫、のいずれかを含むデータを処理する。
・データフュージョンシステムは、他のビークル、ロボット、ドローン、および人物の現実世界の場所、ローカル地形、ビークルが走行しているルートまたは道路、交通信号の任意の状態、時刻、天候条件、道路のタイプ、天候、駐車場の場所、および車庫、のいずれかを含むデータを処理する。
【0099】
エージェント
・エージェントは、世界モデルに追加または注入されたオブジェクト、イベント、および条件を追跡することを担う。
・エージェントは、世界モデルに追加または注入されたオブジェクト、イベント、および条件を追跡することを担う。
【0100】
エージェントは、各エージェントの状態および挙動に関連するオブジェクト、イベント、または条件を追跡する独自のローカル世界モデルを有する。
・エージェントは、エージェントの状態および行動を他のエージェントと共有する。
・エージェントは、世界モデルに追加または注入されたオブジェクト、イベント、および条件を追跡することを担う。
・エージェントはエラーをハンドリングすることを担う。
・単一のエージェントは、単一の仮想ビークルに対応するか、または単一の仮想ビークルを表す。
・世界モデルは、複数の仮想ビークルおよび他のオブジェクトを含むマルチエージェントシステムを含む。
・エージェントは、エージェントの状態および行動を他のエージェントと共有する。
・エージェントは、世界モデルに追加または注入されたオブジェクト、イベント、および条件を追跡することを担う。
・エージェントはエラーをハンドリングすることを担う。
・単一のエージェントは、単一の仮想ビークルに対応するか、または単一の仮想ビークルを表す。
・世界モデルは、複数の仮想ビークルおよび他のオブジェクトを含むマルチエージェントシステムを含む。
【0101】
データ配信フレームワーク
・データフュージョンシステムは、ＯＭＧ ＤＤＳフレームワークなどの分散型データ中心アーキテクチャを使用して、センサデータ、制御データ、および仮想データのうちの１つ以上をハンドリングするかまたは転送する。
・トンネリングＤＤＳデータパケットは、産業用Ｍ２Ｍ（マシン間）プロトコル、Ｖ２Ｘ（ビークル万物間）、ＣＡＮ、ＦｌｅｘＲａｙなどを含むが、これらに限定されない非ＩＰネットワークを介してトンネリングされる。
・高速で移動するビークルについて、データ配信フレームワークは、ビークル万物間（Ｖ２Ｘ）通信のプロトコルのブーストされたスタックを伴う接続方法を提供し、スタックは、１０ミリ秒ごとの頻度でメッセージをブロードキャストする能力、Ｖ２Ｘ無線を介して通常のＶ２Ｘシステムに透過的に信号伝達し、かつＶ２Ｘシステムの機能に影響を与えないことを可能にする、拡張メッセージ形式、ＩＥＥＥ ８０２．１１ｐおよび３ＧＰＰ Ｃ－Ｖ２Ｘを介したＤＤＳトンネリング、通常のＶ２Ｘシステムへの透過的な方法での任意のＵＤＰおよびＴＣＰ接続のためのＶ２Ｘ無線を介した、ユニバーサルなオーバーザトップ（ＯＴＴ）データ伝送、という特徴のうちの１つ以上を有する既存のＶ２Ｘシステムの能力および性能を拡張する。
・データフュージョンシステムは、ＯＭＧ ＤＤＳフレームワークなどの分散型データ中心アーキテクチャを使用して、センサデータ、制御データ、および仮想データのうちの１つ以上をハンドリングするかまたは転送する。
・トンネリングＤＤＳデータパケットは、産業用Ｍ２Ｍ（マシン間）プロトコル、Ｖ２Ｘ（ビークル万物間）、ＣＡＮ、ＦｌｅｘＲａｙなどを含むが、これらに限定されない非ＩＰネットワークを介してトンネリングされる。
・高速で移動するビークルについて、データ配信フレームワークは、ビークル万物間（Ｖ２Ｘ）通信のプロトコルのブーストされたスタックを伴う接続方法を提供し、スタックは、１０ミリ秒ごとの頻度でメッセージをブロードキャストする能力、Ｖ２Ｘ無線を介して通常のＶ２Ｘシステムに透過的に信号伝達し、かつＶ２Ｘシステムの機能に影響を与えないことを可能にする、拡張メッセージ形式、ＩＥＥＥ ８０２．１１ｐおよび３ＧＰＰ Ｃ－Ｖ２Ｘを介したＤＤＳトンネリング、通常のＶ２Ｘシステムへの透過的な方法での任意のＵＤＰおよびＴＣＰ接続のためのＶ２Ｘ無線を介した、ユニバーサルなオーバーザトップ（ＯＴＴ）データ伝送、という特徴のうちの１つ以上を有する既存のＶ２Ｘシステムの能力および性能を拡張する。
【0102】
データ注入フレームワーク
・データフュージョンシステムは、人工仮想データの通常のデータへの注入を可能にする様々な制御システムおよびセンサシステムのためのリアルタイムデータ注入器を構築および展開するための標準的な方法を提供するように設計された再利用可能なソフトウェアおよびハードウェアコンポーネントの拡張可能なツールキットを使用する。
・ＯＭＧデータ配信サービスのためのデータ注入ロジックを提供する。
・ビークル万物間（Ｖ２Ｘ）通信のためのデータ注入ロジックを提供する。
・測定および較正システムをビークルＥＣＵに接続する自動車の「汎用測定および較正プロトコル」（例えば、ＡＳＡＭ ＭＣＤ－１ ＸＣＰ）のためのデータ注入ロジックを提供する。
・データフュージョンシステムは、人工仮想データの通常のデータへの注入を可能にする様々な制御システムおよびセンサシステムのためのリアルタイムデータ注入器を構築および展開するための標準的な方法を提供するように設計された再利用可能なソフトウェアおよびハードウェアコンポーネントの拡張可能なツールキットを使用する。
・ＯＭＧデータ配信サービスのためのデータ注入ロジックを提供する。
・ビークル万物間（Ｖ２Ｘ）通信のためのデータ注入ロジックを提供する。
・測定および較正システムをビークルＥＣＵに接続する自動車の「汎用測定および較正プロトコル」（例えば、ＡＳＡＭ ＭＣＤ－１ ＸＣＰ）のためのデータ注入ロジックを提供する。
【0103】
データ注入器
・データフュージョンシステムは、仮想オブジェクト、条件、またはイベント、という仮想データのいずれかを表すデータを取り込むためのプラグインコンポーネントである、データ注入器を含む。
・データ注入器は、現実世界のセンサデータおよび／または制御データと融合される仮想データを供給するかまたは提供する。
・データフュージョンシステムは、（ｉ）センサデータおよび／または制御データ、（ｉｉ）および／または仮想オブジェクト、条件、またはイベント、という仮想データのいずれかを表すデータを取り込むためのプラグインコンポーネントである、データ注入器を含む。
・データ注入器は、仮想データを現実世界のセンサデータおよび／または制御データと融合させるかまたは統合する。
・データ注入器は、（ｉ）仮想データ、または（ｉｉ）融合されたかもしくは統合された仮想データならびにセンサデータおよび／もしくは制御データを、現実データまたは現実世界のデータと同等なデータとして処理する現実世界のビークル制御システムにデータを提供する。
・データ注入器コンポーネントは、データサンプリングレートおよび解像度を互いに独立に維持する。
・計算のコヒーレンシは、データ注入器コンポーネントの自己組織化されたメッシュネットワークで維持される。
・センサデータを処理するための注入器は、レーダ、ＬＩＤＡＲ超音波、コンピュータビジョン、および立体視カメラを含むがこれらに限定されない、ロボットおよび自動車で使用される様々なタイプのセンサに専用に設計されている。
・センサデータは、２Ｄシリアル画像を出力する任意のセンサを含む画像ベースのセンサ信号、ＬＩＤＡＲおよび立体カメラからのデータを含むポイントクラウドに基づくセンサ信号、超音波センサ、レーダ、温度、および速度センサを含むシリアルデータに基づくセンサ信号を含む。
・データフュージョンシステムは、仮想オブジェクト、条件、またはイベント、という仮想データのいずれかを表すデータを取り込むためのプラグインコンポーネントである、データ注入器を含む。
・データ注入器は、現実世界のセンサデータおよび／または制御データと融合される仮想データを供給するかまたは提供する。
・データフュージョンシステムは、（ｉ）センサデータおよび／または制御データ、（ｉｉ）および／または仮想オブジェクト、条件、またはイベント、という仮想データのいずれかを表すデータを取り込むためのプラグインコンポーネントである、データ注入器を含む。
・データ注入器は、仮想データを現実世界のセンサデータおよび／または制御データと融合させるかまたは統合する。
・データ注入器は、（ｉ）仮想データ、または（ｉｉ）融合されたかもしくは統合された仮想データならびにセンサデータおよび／もしくは制御データを、現実データまたは現実世界のデータと同等なデータとして処理する現実世界のビークル制御システムにデータを提供する。
・データ注入器コンポーネントは、データサンプリングレートおよび解像度を互いに独立に維持する。
・計算のコヒーレンシは、データ注入器コンポーネントの自己組織化されたメッシュネットワークで維持される。
・センサデータを処理するための注入器は、レーダ、ＬＩＤＡＲ超音波、コンピュータビジョン、および立体視カメラを含むがこれらに限定されない、ロボットおよび自動車で使用される様々なタイプのセンサに専用に設計されている。
・センサデータは、２Ｄシリアル画像を出力する任意のセンサを含む画像ベースのセンサ信号、ＬＩＤＡＲおよび立体カメラからのデータを含むポイントクラウドに基づくセンサ信号、超音波センサ、レーダ、温度、および速度センサを含むシリアルデータに基づくセンサ信号を含む。
【0104】
表現フレームワーク
・データフュージョンシステムは、仮想世界および／または融合された世界、すなわち、ユーザインターフェース、ならびに／または対話型プラットフォームおよび／もしくは対話型デバイスを介してエンドユーザに、現実世界のデータソースおよび仮想データを融合させることによって作成された世界の没入型表現を提供する再利用可能なソフトウェア統合アダプタの拡張可能なツールキットである表現フレームワークを含む。
・表現フレームワークは、シングルスクリーンビデオディスプレイまたはマルチスクリーンビデオディスプレイ、モバイル端末およびリモートコントローラ、ＶＲ／ＡＲヘッドセット、ユーザモーショントラッカ、ダイレクトマニピュレーションインターフェースおよびタンジブルインターフェースを含むが、これらに限定されない、ユーザインターフェースとの統合が可能である。
・表現フレームワークは、多層構造の世界モデル表現を有するソフトウェア統合ツールキットを含み、オブジェクトの様々な特性は、特定の表現層への親和性を有し、これらの層の各々を、特定のユーザインターフェースコンポーネントおよびそれぞれのデバイスによって供される特定の表現方法に割り当てることができる。
・基本表現層は、現実世界のビークルレーストラックに設置されたカメラから伝送され、かつ様々な視点を与える、ビデオストリームのセットであり、この基本層の上に、様々なメディアチャネルのための仮想オブジェクトを視覚化する１つ以上の表現層またはオーバーレイがあり、これらの仮想オーバーレイは、現実オブジェクトと仮想オブジェクトとを組み合わせるブレンドされたシーンが生じるように、適切なツール、デバイス、およびユーザインターフェースを使用して基礎となるビデオストリームに適用される。
・データフュージョンシステムは、仮想世界および／または融合された世界、すなわち、ユーザインターフェース、ならびに／または対話型プラットフォームおよび／もしくは対話型デバイスを介してエンドユーザに、現実世界のデータソースおよび仮想データを融合させることによって作成された世界の没入型表現を提供する再利用可能なソフトウェア統合アダプタの拡張可能なツールキットである表現フレームワークを含む。
・表現フレームワークは、シングルスクリーンビデオディスプレイまたはマルチスクリーンビデオディスプレイ、モバイル端末およびリモートコントローラ、ＶＲ／ＡＲヘッドセット、ユーザモーショントラッカ、ダイレクトマニピュレーションインターフェースおよびタンジブルインターフェースを含むが、これらに限定されない、ユーザインターフェースとの統合が可能である。
・表現フレームワークは、多層構造の世界モデル表現を有するソフトウェア統合ツールキットを含み、オブジェクトの様々な特性は、特定の表現層への親和性を有し、これらの層の各々を、特定のユーザインターフェースコンポーネントおよびそれぞれのデバイスによって供される特定の表現方法に割り当てることができる。
・基本表現層は、現実世界のビークルレーストラックに設置されたカメラから伝送され、かつ様々な視点を与える、ビデオストリームのセットであり、この基本層の上に、様々なメディアチャネルのための仮想オブジェクトを視覚化する１つ以上の表現層またはオーバーレイがあり、これらの仮想オーバーレイは、現実オブジェクトと仮想オブジェクトとを組み合わせるブレンドされたシーンが生じるように、適切なツール、デバイス、およびユーザインターフェースを使用して基礎となるビデオストリームに適用される。
【0105】
ビークル制御
・ビークルは、ステアリング、ブレーキ、加速度計などのビークル内のシステムを制御するかまたは作動させ、かつ現実世界の計画および制御システムがデータフュージョンシステムから入力を取得する、現実世界の自動運転システム（ＡＤＳ）計画および制御システムを含む。
・ビークルは、現実世界のデータを処理するローカル世界モデルを生成するＡＤＳを含み、ＡＤＳは、入力データをデータフュージョンシステムに提供し、次にデータフュージョンシステムは、入力データを現実世界の計画および制御システム（「ＡＤＳ計画および制御層」）に提供する。
・ＡＤＳのローカル世界モデルは、外部世界モデルまたは仮想世界にデータを送信し、ＡＤＳ計画および制御層は、外部世界モデルまたは仮想世界からデータを受信する。
・ＡＤＳのローカル世界モデルは、ＡＤＳの埋め込み部分またはサブシステムである世界モデルにデータを送信し、ＡＤＳ計画および制御層は、この世界モデルからデータを受信する。
・ＡＤＳのローカル世界モデルは、外部の世界モデルおよびさらにＡＤＳの埋め込み部分またはサブシステムである世界モデルの両方にデータを送信し、ＡＤＳ計画および制御層は、この両方からデータを受信する。
・世界モデルは、ＡＤＳに、ＡＤＳがその後にＡＤＳの制御および計画動作時に含む仮想オブジェクト、仮想経路、仮想ルート、のいずれかを注入することを可能にする。
・ローカル世界モデルは、ＯＭＧ ＤＤＳデータバスまたは同様のリアルタイム通信ミドルウェアを介してデータを送信する。
・世界モデルの出力は、ローカル世界モデルから通常受信されるＡＤＳ計画および制御の予想される入力と一致し、このモードでは、ＡＤＳ計画および制御は、オブジェクトが現実であるかまたは仮想であるかを示すものを有していない。
・世界モデルの出力は、オブジェクトが現実であるかまたは仮想であるかを示す追加のフラグとともにローカル世界モデルから通常受信されるＡＤＳ計画および制御の予想される入力と一致し、このモードでは、ＡＤＳ計画および制御システムが、この追加のオブジェクト情報を利用するように適合されている。
・ビークルは、ステアリング、ブレーキ、加速度計などのビークル内のシステムを制御するかまたは作動させ、かつ現実世界の計画および制御システムがデータフュージョンシステムから入力を取得する、現実世界の自動運転システム（ＡＤＳ）計画および制御システムを含む。
・ビークルは、現実世界のデータを処理するローカル世界モデルを生成するＡＤＳを含み、ＡＤＳは、入力データをデータフュージョンシステムに提供し、次にデータフュージョンシステムは、入力データを現実世界の計画および制御システム（「ＡＤＳ計画および制御層」）に提供する。
・ＡＤＳのローカル世界モデルは、外部世界モデルまたは仮想世界にデータを送信し、ＡＤＳ計画および制御層は、外部世界モデルまたは仮想世界からデータを受信する。
・ＡＤＳのローカル世界モデルは、ＡＤＳの埋め込み部分またはサブシステムである世界モデルにデータを送信し、ＡＤＳ計画および制御層は、この世界モデルからデータを受信する。
・ＡＤＳのローカル世界モデルは、外部の世界モデルおよびさらにＡＤＳの埋め込み部分またはサブシステムである世界モデルの両方にデータを送信し、ＡＤＳ計画および制御層は、この両方からデータを受信する。
・世界モデルは、ＡＤＳに、ＡＤＳがその後にＡＤＳの制御および計画動作時に含む仮想オブジェクト、仮想経路、仮想ルート、のいずれかを注入することを可能にする。
・ローカル世界モデルは、ＯＭＧ ＤＤＳデータバスまたは同様のリアルタイム通信ミドルウェアを介してデータを送信する。
・世界モデルの出力は、ローカル世界モデルから通常受信されるＡＤＳ計画および制御の予想される入力と一致し、このモードでは、ＡＤＳ計画および制御は、オブジェクトが現実であるかまたは仮想であるかを示すものを有していない。
・世界モデルの出力は、オブジェクトが現実であるかまたは仮想であるかを示す追加のフラグとともにローカル世界モデルから通常受信されるＡＤＳ計画および制御の予想される入力と一致し、このモードでは、ＡＤＳ計画および制御システムが、この追加のオブジェクト情報を利用するように適合されている。
【0106】
ビークル
・ビークルは、車、飛行機、陸上ビークル、配送ビークル、バス、海上ビークル、ドローン、ロボット、または他の自走デバイス、例えば非自律型ビークルである。
・ビークルは、自律型の、車、飛行機、陸上ビークル、配送ビークル、バス、海上ビークル、ドローン、ロボット、または他の自走デバイスである。
・ビークルは、レーシングビークルである。
・ビークルは、各々が異なる制御システムまたはそれらの制御システムのソフトウェアサブシステムを有するいくつかの機構的に類似したレーシングビークルのうちの１つであり、異なるビークルは、異なるビークルの各々に供給される同じ新しい仮想データに最適な様態で反応するように競争する。
・ビークルは、自律型の、車、飛行機、ビークル、ドローン、ロボット、またはレース中の他のビークルを撮影または記録するように構成された他の自走デバイスである。
・ビークルは、人間によって運転または操縦され、ビークルのディスプレイは、その人間の運転者または操縦者に仮想世界の一部またはすべてを示す。
・ビークルは、車、飛行機、陸上ビークル、配送ビークル、バス、海上ビークル、ドローン、ロボット、または他の自走デバイス、例えば非自律型ビークルである。
・ビークルは、自律型の、車、飛行機、陸上ビークル、配送ビークル、バス、海上ビークル、ドローン、ロボット、または他の自走デバイスである。
・ビークルは、レーシングビークルである。
・ビークルは、各々が異なる制御システムまたはそれらの制御システムのソフトウェアサブシステムを有するいくつかの機構的に類似したレーシングビークルのうちの１つであり、異なるビークルは、異なるビークルの各々に供給される同じ新しい仮想データに最適な様態で反応するように競争する。
・ビークルは、自律型の、車、飛行機、ビークル、ドローン、ロボット、またはレース中の他のビークルを撮影または記録するように構成された他の自走デバイスである。
・ビークルは、人間によって運転または操縦され、ビークルのディスプレイは、その人間の運転者または操縦者に仮想世界の一部またはすべてを示す。
【0107】
オーディエンスエクスペリエンス
・ビークルを特徴とするイベントの観客、視聴者、参加者、またはコントローラは、現実世界のビークルと、ビークルが相互作用するオブジェクトまたは条件などの仮想世界で生成された任意のオブジェクトと、の両方をディスプレイで見ることができる。
・ビークルを特徴とするイベントの観客、視聴者、参加者、またはコントローラは、現実世界のビークルと、ビークルが相互作用するオブジェクトまたは条件などの仮想世界で生成された任意のオブジェクトと、の両方を、拡張現実ヘッドセットまたは眼鏡などのディスプレイで見ることができる。
・ビークルを特徴とするイベントの観客、視聴者、参加者、またはコントローラは、融合された現実世界および仮想世界を通して、その融合された世界のそれらのビューを変更するようにナビゲートすることができる。
・観客、視聴者、参加者、またはコントローラは、融合された現実世界および仮想世界を通して、それらが視聴しているか、撮影しているか、または記録しているかもしくはストリーミングしているその融合された世界のビューを変更するようにナビゲートすることができる。
・ビークルを特徴とするイベントの観客、視聴者、参加者、またはコントローラは、（ａ）オブジェクトであって、現実世界の制御システムがオブジェクトにどのくらい効果的に反応するかを試験するために追加されるオブジェクト、（ｂ）仮想人物、障壁、標識、または他のビークルなどの、ビークルが回避しなければならないオブジェクト、のうちの任意の１つ以上を仮想世界に追加するかまたは制御することができる。
・ビークルを特徴とするイベントの観客、視聴者、参加者、またはコントローラは、戦利品、ルート経路、出入口などの、ビークルが通過しなければならない仮想世界オブジェクトを、仮想世界に追加するかまたは制御することができる。
・ビークルを特徴とするイベントの観客、視聴者、参加者、またはコントローラは、ビークルがレース、ゲーム、または競技でポイントを獲得するために通過しなければならないオブジェクトまたは戦利品を仮想世界で追加または制御することができる。
・ビークルを特徴とするイベントの観客、視聴者、参加者、またはコントローラは、ビークルがレース、ゲーム、または競技でポイントを獲得するために通過しなければならない仮想世界のオブジェクトまたは戦利品を追加するかまたは制御することができ、それらは、仮想人物、障壁、標識、または他のビークルなどの、ビークルが回避しなければならない仮想または現実のオブジェクトの近くに配置される。
・ビークルを特徴とするイベントの観客、視聴者、参加者、またはコントローラは、現実世界のビークルと、ビークルが相互作用するオブジェクトまたは条件などの仮想世界で生成された任意のオブジェクトと、の両方をディスプレイで見ることができる。
・ビークルを特徴とするイベントの観客、視聴者、参加者、またはコントローラは、現実世界のビークルと、ビークルが相互作用するオブジェクトまたは条件などの仮想世界で生成された任意のオブジェクトと、の両方を、拡張現実ヘッドセットまたは眼鏡などのディスプレイで見ることができる。
・ビークルを特徴とするイベントの観客、視聴者、参加者、またはコントローラは、融合された現実世界および仮想世界を通して、その融合された世界のそれらのビューを変更するようにナビゲートすることができる。
・観客、視聴者、参加者、またはコントローラは、融合された現実世界および仮想世界を通して、それらが視聴しているか、撮影しているか、または記録しているかもしくはストリーミングしているその融合された世界のビューを変更するようにナビゲートすることができる。
・ビークルを特徴とするイベントの観客、視聴者、参加者、またはコントローラは、（ａ）オブジェクトであって、現実世界の制御システムがオブジェクトにどのくらい効果的に反応するかを試験するために追加されるオブジェクト、（ｂ）仮想人物、障壁、標識、または他のビークルなどの、ビークルが回避しなければならないオブジェクト、のうちの任意の１つ以上を仮想世界に追加するかまたは制御することができる。
・ビークルを特徴とするイベントの観客、視聴者、参加者、またはコントローラは、戦利品、ルート経路、出入口などの、ビークルが通過しなければならない仮想世界オブジェクトを、仮想世界に追加するかまたは制御することができる。
・ビークルを特徴とするイベントの観客、視聴者、参加者、またはコントローラは、ビークルがレース、ゲーム、または競技でポイントを獲得するために通過しなければならないオブジェクトまたは戦利品を仮想世界で追加または制御することができる。
・ビークルを特徴とするイベントの観客、視聴者、参加者、またはコントローラは、ビークルがレース、ゲーム、または競技でポイントを獲得するために通過しなければならない仮想世界のオブジェクトまたは戦利品を追加するかまたは制御することができ、それらは、仮想人物、障壁、標識、または他のビークルなどの、ビークルが回避しなければならない仮想または現実のオブジェクトの近くに配置される。
【0108】
競技形式
・ＡＶまたは人間が運転する現実世界のビークル、またはＡＩによって支援される人間が運転する現実世界のビークルは、現実世界の運転領域内でレースし、（ｉ）その現実世界の運転領域の仮想世界の表現と、（ｉｉ）現実世界のビークルに対してレースする仮想ビークルと、があり、現実世界のビークルは、仮想世界のビークルが現実世界に存在するかのように仮想ビークルに反応し、仮想ビークルは、現実世界のビークルが仮想世界に存在するかのように現実世界のビークルに反応する。
・現実世界の運転領域おける現実世界のフルサイズのビークルと、さらに、その現実世界の運転領域の仮想世界の表現と、があり、現実世界のビークルは、シミュレータ内のユーザ、またはＡＲもしくはＶＲヘッドセットを装着したユーザからの入力を制御するように反応する。
・自動運転車は、ドライバインザループシミュレータの内部に安全に位置するｅスポーツゲーマによって制御される仮想車と競争する。
・拡張現実ディスプレイを有する人間の運転者は、ドライバインザループシミュレータの内部に安全に位置するｅスポーツゲーマによって制御される仮想ビークルと競争する。
・シミュレータ内のｅスポーツゲーマは、通信遅延に応じた操作的、戦術的、および戦略的な制御抽象化の様々なレベルで物理的な車を直接制御する。
・各々が異なる制御システムまたはそれらの制御システムのソフトウェアサブシステムを有するいくつかの機構的に類似したレーシングビークルは、それらのレーシングビークルの各々に供給される同じ新しい仮想データに最適な様態で反応するように互いに競争する。
・ＡＶまたは人間が運転する現実世界のビークル、またはＡＩによって支援される人間が運転する現実世界のビークルは、現実世界の運転領域内でレースし、（ｉ）その現実世界の運転領域の仮想世界の表現と、（ｉｉ）現実世界のビークルに対してレースする仮想ビークルと、があり、現実世界のビークルは、仮想世界のビークルが現実世界に存在するかのように仮想ビークルに反応し、仮想ビークルは、現実世界のビークルが仮想世界に存在するかのように現実世界のビークルに反応する。
・現実世界の運転領域おける現実世界のフルサイズのビークルと、さらに、その現実世界の運転領域の仮想世界の表現と、があり、現実世界のビークルは、シミュレータ内のユーザ、またはＡＲもしくはＶＲヘッドセットを装着したユーザからの入力を制御するように反応する。
・自動運転車は、ドライバインザループシミュレータの内部に安全に位置するｅスポーツゲーマによって制御される仮想車と競争する。
・拡張現実ディスプレイを有する人間の運転者は、ドライバインザループシミュレータの内部に安全に位置するｅスポーツゲーマによって制御される仮想ビークルと競争する。
・シミュレータ内のｅスポーツゲーマは、通信遅延に応じた操作的、戦術的、および戦略的な制御抽象化の様々なレベルで物理的な車を直接制御する。
・各々が異なる制御システムまたはそれらの制御システムのソフトウェアサブシステムを有するいくつかの機構的に類似したレーシングビークルは、それらのレーシングビークルの各々に供給される同じ新しい仮想データに最適な様態で反応するように互いに競争する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【国際調査報告】