特表 2024-535986 シミュレートコンテンツを用いた視覚に基づくシステムの訓練

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-04

(54)【発明の名称】シミュレートコンテンツを用いた視覚に基づくシステムの訓練

(51)【国際特許分類】

   G06V 10/77 20220101AFI20240927BHJP

   G08G 1/00 20060101ALI20240927BHJP

   G06V 20/56 20220101ALI20240927BHJP

   G06V 20/58 20220101ALI20240927BHJP

【ＦＩ】

G06V10/77

G08G1/00 A

G06V20/56

G06V20/58

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024509357

(86)(22)【出願日】2022-08-18

(85)【翻訳文提出日】2024-03-14

(86)【国際出願番号】 US2022040793

(87)【国際公開番号】W WO2023023272

(87)【国際公開日】2023-02-23

(31)【優先権主張番号】63/260,439

(32)【優先日】2021-08-19

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/287,936

(32)【優先日】2021-12-09

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】510192916

【氏名又は名称】テスラ，インコーポレイテッド

(74)【代理人】

【識別番号】110000659

【氏名又は名称】弁理士法人広江アソシエイツ特許事務所

(72)【発明者】

【氏名】アブフォール，デビッド

(72)【発明者】

【氏名】ホスティッカ，マイケル

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181BB04

5H181BB20

5H181CC04

5H181EE02

5H181FF04

5H181FF10

5H181FF13

5H181FF27

5H181FF33

5H181LL01

5H181LL02

5H181LL09

5L096AA06

5L096BA04

5L096CA05

5L096CA18

5L096DA02

5L096FA03

5L096FA69

5L096JA09

5L096KA04

(57)【要約】

本出願の態様は、視覚システムのみに基づく処理を有する車両で利用するための機械学習アルゴリズムを生成又は訓練するためにシミュレーションシステムからの組み合わされた入力のセットの利用に対応する。本出願の態様は、機械学習アルゴリズムで使用するための更新された訓練セットを作成するためにセンサ又はセンシングシステム及びシミュレーションシステムからの入力のセットの利用に対応する。組み合わされた入力のセットは、車両に構成された複数のカメラからの視覚システムに対応する第１のデータセットを含む。組み合わされた入力のセットは、視覚システムデータを補完するために視覚画像及びデータラベルを含む追加の訓練セットデータを生成するシミュレートコンテンツシステムに対応する第２のデータセットを更に含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両内の視覚システムを管理するためのシステムであって、
少なくとも１つの機械学習アルゴリズムに従って１つ以上の視覚システムからキャプチャされた視覚データを生成及び処理するためのシステムを含む複数の車両であって、１つ以上の視覚システムからキャプチャされた前記視覚データが、グラウンドトゥルースラベルに関連付けられる、複数の車両と、
前記複数の車両による実行のための前記少なくとも１つの機械学習アルゴリズムを生成するように動作する視覚システム情報処理構成要素を実装するために、コンピュータ実行可能命令を実行する、処理デバイス及びメモリを含む１つ以上のコンピューティングシステムであって、前記少なくとも１つの機械学習アルゴリズムは、セットされた訓練データから生成される、１つ以上のコンピューティングシステムと、
コンピュータ実行可能命令を実行する、処理デバイス及びメモリを含む１つ以上のコンピューティングシステムと、を備え、前記コンピュータ実行可能命令が、
前記複数の車両のうちの１つ以上から収集された視覚データに関連付けられたグラウンドトゥルースラベルデータを取得するステップと、
前記収集された視覚データに関連付けられた前記取得されたグラウンドトゥルースラベルデータを処理して、コンテンツモデルを生成する際に使用するための選択されたグラウンドトゥルースラベルデータを形成するステップであって、前記選択されたグラウンドトゥルースラベルデータの前記形成は、シミュレートモデルコンテンツを生成するためのコンテンツモデル属性の順序付けられた優先度に基づく、形成するステップと、
前記生成されたシミュレートモデルコンテンツに基づいて、インデックスデータ又はコンテンツモデル属性データのうちの少なくとも１つを関連付けるステップと、
前記生成されたシミュレートモデルコンテンツ、並びにインデックスデータ及びコンテンツモデル属性データのうちの前記少なくとも１つを記憶するステップと、を行うように動作するシミュレートコンテンツ生成サービスを実装するためのものである、システム。

【請求項2】

前記選択されたグラウンドトゥルースラベルデータの前記形成が、道路エッジに対応するグラウンドトゥルースラベルデータを識別することを含む、請求項１に記載のシステム。

【請求項3】

前記選択されたグラウンドトゥルースラベルデータの前記形成が、続いて、識別された道路エッジに基づく１つの静的オブジェクトに対応するグラウンドトゥルースラベルデータを識別することを含む、請求項２に記載のシステム。

【請求項4】

前記静的オブジェクトが、前記識別された道路エッジに基づく車線境界線に対応する、請求項３に記載のシステム。

【請求項5】

前記静的オブジェクトが、前記識別された道路エッジに基づく車線中央に対応する、請求項３に記載のシステム。

【請求項6】

前記静的オブジェクトが、前記識別された道路エッジに基づく静止オブジェクトに対応する、請求項３に記載のシステム。

【請求項7】

前記選択されたグラウンドトゥルースラベルデータの前記形成が、続いて、識別された道路エッジに基づく少なくとも１つの動的オブジェクトに対応するグラウンドトゥルースラベルデータを識別することを含む、請求項２に記載のシステム。

【請求項8】

前記シミュレートコンテンツ生成サービスが、前記取得されたグラウンドトゥルースラベルデータから少なくとも１つのグラウンドトゥルースラベルをフィルタリングする、請求項１に記載のシステム。

【請求項9】

前記インデックスデータが、ジオハッシュ情報に対応する、請求項１に記載のシステム。

【請求項10】

前記選択されたグラウンドトゥルースラベルデータの前記形成が、少なくとも１つの追加のグラウンドトゥルースラベルを含み、前記少なくとも１つの追加のグラウンドトゥルースラベルが、選択されたテンプレートに基づく、請求項１に記載のシステム。

【請求項11】

車両内の視覚システムを管理するための方法であって、前記システムが、
収集された視覚データに関連付けられたグラウンドトゥルースラベルデータを取得するステップであって、前記収集された視覚データが、車両上の視覚システムに対応する、取得するステップと、
前記取得されたグラウンドトゥルースラベルデータに基づいて、１つ以上のコンテンツモデル属性を識別するステップと、
前記コンテンツモデル属性のサブセットに基づいて、シミュレートモデルコンテンツを生成するステップと、
前記生成されたシミュレートモデルコンテンツを記憶するステップと、を含む、方法。

【請求項12】

コンテンツモデル属性の順序付けられた優先度に基づいて、前記１つ以上のコンテンツモデル属性を処理して、前記コンテンツモデル属性の前記サブセットを識別するステップを更に含む、請求項１１に記載の方法。

【請求項13】

前記生成されたシミュレートモデルコンテンツに基づいて、インデックスデータ又はコンテンツモデル属性データのうちの少なくとも１つを関連付けるステップを更に含む、請求項１１に記載の方法。

【請求項14】

前記インデックスデータが、ジオハッシュ情報に対応する、請求項１３に記載の方法。

【請求項15】

前記コンテンツモデル属性データが、前記シミュレートコンテンツに描写される少なくとも１つの静的オブジェクトに関連付けられている、請求項１１に記載の方法。

【請求項16】

前記取得されたグラウンドトゥルースラベルデータに基づいて１つ以上のコンテンツモデル属性を識別するステップが、前記１つ以上のコンテンツモデル属性を識別する際に少なくとも道路エッジを識別することを含む、請求項１１に記載の方法。

【請求項17】

前記取得されたグラウンドトゥルースラベルデータに基づいて１つ以上のコンテンツモデル属性を識別するステップが、続いて、識別された道路エッジに基づく１つの静的オブジェクトを識別することを含む、請求項１６に記載の方法。

【請求項18】

前記静的オブジェクトが、前記識別された道路エッジに基づく車線境界線、前記識別された道路エッジに基づく車線中心、又は前記識別された道路エッジに基づく静止オブジェクトのうちの少なくとも１つに対応する、請求項１７に記載の方法。

【請求項19】

グラウンドトゥルースラベルの事前構成に基づいて、少なくとも１つのグラウンドトゥルースラベルを補完する前記取得されたグラウンドトゥルースラベルデータに基づく１つ以上のコンテンツモデル属性を識別すること、請求項１６に記載の方法。

【請求項20】

車両内の視覚システムを管理するための方法であって、前記システムが、
収集された視覚データに関連付けられた生成されたグラウンドトゥルースラベルデータを取得するステップであって、前記収集された視覚データは、車両上の視覚システムに関連付けられている、取得するステップと、
前記収集された視覚データに関連付けられた前記取得されたグラウンドトゥルースラベルデータを処理して、コンテンツモデルを生成する際に使用するための第１のセットのグラウンドトゥルースラベルデータを形成するステップと、
前記収集された視覚データに関連付けられた前記グラウンドトゥルースラベルデータを更に処理して、コンテンツモデルを生成する際に使用するための追加のグラウンドトゥルースラベルデータを形成するステップであって、前記追加のグラウンドトゥルースラベルデータが、前記第１のセットのグラウンドトゥルースラベルデータに依存する、ステップと、
前記第１のセットのグラウンドトゥルースラベルデータ及び第２のセットのグラウンドトゥルースラベルデータに基づいて、シミュレートモデルコンテンツを生成するステップと、
前記生成されたシミュレートモデルコンテンツを記憶するステップと、を含む、方法。

【請求項21】

前記生成されたシミュレートモデルコンテンツに基づいて、インデックスデータ又はコンテンツモデル属性データのうちの少なくとも１つを関連付けるステップを更に含む、請求項２０に記載の方法。

【請求項22】

前記第１のセットのグラウンドトゥルースデータが、１つ以上のコンテンツモデル属性を識別する際に少なくとも道路エッジを含む、請求項２０に記載の方法。

【請求項23】

前記第２のセットのグラウンドトゥルースデータが、前記第１のセットのグラウンドトゥルースデータに基づく少なくとも１つの静的オブジェクトを含む、請求項２０に記載の方法。

【請求項24】

前記静的オブジェクトが、前記識別された道路エッジに基づく車線境界線、前記識別された道路エッジに基づく車線中心、又は前記識別された道路エッジに基づく静止オブジェクトのうちの少なくとも１つに対応する、請求項２３に記載の方法。

【請求項25】

前記収集された視覚データに関連付けられた前記グラウンドトゥルースラベルデータを更に処理して、コンテンツモデルを生成する際に使用するための第２の追加のグラウンドトゥルースラベルデータを形成するステップを更に含み、前記第２の追加のグラウンドトゥルースラベルデータが、グラウンドトゥルースラベルデータのテンプレート又は事前構成された選択のうちの少なくとも１つに基づく、請求項２３に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願の相互参照］
本出願は、２０２１年８月１９日に出願された「ＥＮＨＡＮＣＥＤ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＡＵＴＯＮＯＭＯＵＳ ＶＥＨＩＣＬＥ ＯＰＥＲＡＴＩＯＮ ＡＮＤ ＴＲＡＩＮＩＮＧ」と題する米国仮出願第６３／２６０，４３９号及び２０２１年１２月９日に出願された「ＥＮＨＡＮＣＥＤ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＡＵＴＯＮＯＭＯＵＳ ＶＥＨＩＣＬＥ ＯＰＥＲＡＴＩＯＮ ＡＮＤ ＴＲＡＩＮＩＮＧ」と題する米国仮出願第６３／２８７，９３６号に対する優先権を主張する。米国仮出願第６３／２６０４３９号及び第６３／２８７，９３６号は、参照により、その全体が本明細書に組み込まれる。

【背景技術】

【0002】

一般的に記載すると、コンピューティングデバイス及び通信ネットワークは、データ及び／又は情報を交換するために利用され得る。一般のアプリケーションでは、コンピューティングデバイスは、通信ネットワークを介して別のコンピューティングデバイスからコンテンツを要求することができる。例えば、コンピューティングデバイスは、様々なデータを収集し、ソフトウェアアプリケーションを利用して、ネットワーク（例えば、インターネット）を介してサーバコンピューティングデバイスとコンテンツを交換することができる。

【0003】

一般的に記載すると、電気自動車、内燃機関車両、ハイブリッド車両などの様々な車両は、車両の動作又は車両に含まれる１つ以上のシステムの管理を容易にするための様々なセンサ及び構成要素を用いて構成され得る。特定のシナリオでは、車両所有者又は車両ユーザは、センサに基づくシステムを利用して、車両の動作を容易にしたいことがある。例えば、車両は、多くの場合、場所サービスを容易にするか、又は場所サービスを提供するコンピューティングデバイスにアクセスすることができるハードウェア及びソフトウェア機能性を含むことができる。別の例では、車両はまた、車両の乗員及びユーザに提供されるナビゲーション又は方向情報に関連する情報を生成することができるナビゲーションシステム又はアクセスナビゲーション構成要素を含むことができる。更に、更なる例では、車両は、ナビゲーション及び場所サービス、安全サービス、又は他の動作サービス／構成要素を容易にするための視覚システムを含むことができる。

【0004】

本開示は、特定の実施形態の図面を参照して本明細書に記載され、これらの図面は、本開示を例示することを意図するが、本開示を限定することを意図するものではない。本明細書に組み込まれ、この一部を構成する添付の図面は、本明細書に開示される概念を例示する目的のためであり、縮尺通りではないことがあると理解されたい。

【図面の簡単な説明】

【0005】

【図1】本出願の１つ以上の態様による、車両内の視覚システムのためのシミュレートコンテンツモデル及び訓練セットデータを生成するための例示的な環境のブロック図を描写する。

【0006】

【図2A】本出願の１つ以上の態様による、車両に対応する環境を例示する。

【0007】

【図2B】本出願の１つ以上の態様による、車両のための例示的な視覚システムである。

【0008】

【図3A】本出願の態様による、視覚情報処理構成要素を実装するための例示的なアーキテクチャを描写する。

【0009】

【図3B】本出願の態様による、シミュレートコンテンツサービスを実装するための例示的なアーキテクチャを描写する。

【0010】

【図4A】シミュレートモデルコンテンツの生成及びシミュレートモデルコンテンツに基づいた機械学習アルゴリズムのための視覚システム訓練データのセットのその後の生成を例示された図１の例示的な環境のブロック図である。

【図4B】シミュレートモデルコンテンツの生成及びシミュレートモデルコンテンツに基づいた機械学習アルゴリズムのための視覚システム訓練データのセットのその後の生成を例示された図１の例示的な環境のブロック図である。

【図4C】シミュレートモデルコンテンツの生成及びシミュレートモデルコンテンツに基づいた機械学習アルゴリズムのための視覚システム訓練データのセットのその後の生成を例示された図１の例示的な環境のブロック図である。

【0011】

【図5】例示的な実施形態による、シミュレートコンテンツサービスによって実装されたシミュレートモデルコンテンツ生成ルーチンを例示するフロー図である。

【0012】

【図6】例示的な実施形態による、シミュレートコンテンツサービスによって実装されたシミュレートモデルコンテンツ生成ルーチンに基づいた、視覚システム訓練データ生成ルーチンを例示するフロー図である。

【発明を実施するための形態】

【0013】

一般的に記載すると、本開示の１つ以上の態様は、車両内の視覚システムの構成及び実装態様に関する。例示的な例として、本出願の態様は、様々な動作機能のための視覚システムにのみ依存する車両で使用される機械学習アルゴリズムの構成及び訓練に関する。例示的に、視覚のみのシステムは、レーダに基づくシステム、ＬＩＤＡＲに基づくシステム、ＳＯＮＡＲシステムなどのような１つ以上の追加のセンサシステムと視覚に基づくシステムとを組み合わせ得る車両とは対照的である。

【0014】

視覚のみのシステムには、車両に搭載された複数のカメラを含むことができる視覚システムからのみ入力を処理することができる機械学習アルゴリズムを用いて構成され得る。機械学習アルゴリズムは、オブジェクトを識別し、車両に対して測定された位置、速度、加速度などの識別されたオブジェクトの特性／属性を指定する出力を生成することができる。次いで、機械学習アルゴリズムからの出力は、ナビゲーションシステム、場所システム、安全システムなどの更なる処理に利用され得る。

【0015】

本出願の態様によれば、ネットワークサービスは、機械学習アルゴリズムが、識別されたオブジェクト及び位置、速度、加速度などの指定された特性／属性を含むラベル付けされたデータで訓練される教師あり学習モデルに従って、機械学習アルゴリズムを構成することができる。訓練データセットの第１の部分は、車両の視覚のみのシステムに含まれる視覚システムなどの視覚システムを含む、ターゲット車両から収集されたデータに対応する。追加的に、訓練データの第２の部分は、他のシステム、すなわち、ビデオ画像及び関連する属性情報（例えば、シミュレートコンテンツに基づくグラウンドトゥルースラベルデータ）を生成することができるシミュレートコンテンツシステムから取得された追加情報に対応する。例示的に、シミュレートコンテンツシステムは、キャプチャされた視覚システムデータから少なくともグラウンドトゥルースラベルデータ（又はその一部）を処理して、教師あり学習モデルの訓練セットで使用するために、関連するグラウンドトゥルースラベル情報を含むシミュレートコンテンツを生成することができる。

【0016】

例示的に、ネットワークサービスは、キャプチャされた視覚システムデータに関連付けられたグラウンドトゥルースラベルデータを含むターゲット車両から入力のセット（例えば、第１のデータセット）を受信することができる。一実施形態では、第１のデータセットは、キャプチャされたビデオデータを含む必要はないが、キャプチャされたビデオデータに関連付けられた結果として生じるグラウンドトゥルースラベルを含むことができる。次いで、ネットワークサービスは、キャプチャされた視覚システムデータに関連付けられた少なくともグラウンドトゥルースラベルデータを処理して、シミュレートコンテンツのセット（例えば、第２のデータセット）を生成するために使用されるコンテンツモデル属性を判定する。例えば、コンテンツモデル属性は、道路エッジなどの特定のタイプのグラウンドトゥルースラベルに関連付けられた受信されたグラウンドトゥルース情報のセットからの選択に限定されてもよい。別の例では、コンテンツモデル属性は、道路エッジなどのグラウンドトゥルースラベルを含み、車線境界線、中央車線などの追加の依存するグラウンドトゥルースラベルを含むことができる。

【0017】

例示的に、生成されたシミュレートコンテンツデータセットは、以前に収集されたグラウンドトゥルースデータ／視覚データを、視覚データの処理から他の方法では利用できなかった可能性がある追加の情報又は属性／特性で補完することを可能にする。一態様では、グラウンドトゥルースラベルの選択されたサブセットが選択されると、シミュレートコンテンツサービスは、グラウンドトゥルースラベルを補完／補完するために一般的なテンプレートから選択することができる。例えば、シミュレートコンテンツサービスは、都市景観（例えば、一般的な都市環境又は農村環境）、環境オブジェクト（例えば、異なるタイプの静止オブジェクト）などのグラウンドトゥルースラベルのテンプレートから選択することができる。追加的に、シミュレートコンテンツは、修正又は変更されたグラウンドトゥルースラベル情報を含むことができる。次いで、結果として生じる処理されたコンテンツ属性は、訓練データの後続の生成のための基礎を形成することができる。

【0018】

例示的に、シミュレートコンテンツサービスは、更新された訓練セットのために訓練データのセットを生成するように要求を受信するか、又は判定することができる。シミュレートコンテンツサービスは、選択されたコンテンツモデルに基づいて複数のバリエーションを作成するための基礎として、生成されたコンテンツモデルのうちの１つを識別し、利用することができる。結果として生じるシミュレートコンテンツは、基礎のコンテンツモデルに基づいたグラウンドトゥルースラベルを含むグラウンドトゥルースラベルデータ、及び各作成されたコンテンツに描写されたバリエーションを含む。その後、ネットワークサービスは、組み合わされたデータセットに対する訓練に基づいて、更新された機械学習アルゴリズムを生成する。訓練済機械学習アルゴリズムは、視覚のみに基づいた車両に送信され得る。

【0019】

従来、車両は、制御構成要素に入力を提供するために使用され得る物理センサに関連付けられる。多くのナビゲーション、場所及び安全システムでは、物理センサは、オブジェクトを検出し、検出されたオブジェクトの属性を特徴付けることができる、レーダシステム、ＬＩＤＡＲシステムなどの検出に基づくシステムを含む。いくつかのアプリケーションでは、検出システムは、製造及びメンテナンスのコストを増加させることができる。追加的に、雨、霧、雪などのいくつかの環境シナリオでは、検出に基づくシステムは、検出に適していないことがあるか、又は検出エラーを増加させる可能性がある。

【0020】

上記の欠陥の少なくとも一部分に対処するために、本出願の態様は、シミュレーションシステムが機械学習アルゴリズムを訓練するための追加のコンテンツを生成することができるように、視覚システムからの入力のセットの利用に対応する。例えば、更新された訓練済機械学習アルゴリズムは、視覚システムのみに基づく処理を用いて車両に配布され得る。本出願の態様は、機械学習アルゴリズムで使用するための更新された訓練セットを作成するためのシミュレーションシステムの基礎として、センサ又はセンシングシステム及びシミュレーションシステムからの入力のセットの利用に対応する。入力のセットは、車両に構成された複数のカメラからの視覚システムに対応する第１のデータセットを含む。第１のデータセットは、視覚画像及びデータラベル（例えば、グラウンドトゥルースラベル）を含むことができる。グラウンドトゥルースラベルは、車線エッジ、中央車線、静的オブジェクト、及び動的オブジェクトなどの様々な検出されたオブジェクトを含むことができる。いくつかの実施形態では、第１のデータセットは、キャプチャされたビデオ画像データを提供する必要なしに、キャプチャされた視覚画像に基づくグラウンドトゥルースラベルデータを含むことができる。グラウンドトゥルースラベル情報は、グラウンドトゥルースラベルデータを生成するために車両視覚システムによって提供されるキャプチャされた視覚データを処理することができる追加の独立したサービスによって提供されてもよい。

【0021】

例示的に、ネットワークサービスは、１つ以上のターゲット車両から収集された入力のセット（例えば、関連するグラウンドトゥルースラベルデータ）をプロセスで受信することができる。次いで、ネットワークサービスは、視覚に基づくデータを処理して、シミュレートコンテンツのベース又はコア部分として使用されるコンテンツモデル属性を形成することができる。例えば、コンテンツモデル属性は、道路エッジに対応する提供されたグラウンドトゥルースラベル情報の少なくとも初期部分（例えば、第１の部分）を含む／選択することができる。次いで、ネットワークサービスは、シミュレートコンテンツに含めることができる追加のグラウンドトゥルースラベル情報の何らかの部分（例えば、第２の部分）を含む／選択することもできる。このような第２の部分は、中央車線、車線境界線、静止オブジェクトなどを含むことができる。ネットワークサービス（例えば、シミュレートコンテンツサービス）はまた、含まれるテンプレート又は他の事前構成されたグラウンドトゥルースラベルに基づいて、取得されたグラウンドトゥルース情報を補完又は置き換えることができる。例えば、郊外の設定に対応するフィルタリングされたグラウンドトゥルースラベルデータのセットは、木、家、駐車中の車両などのそのような郊外の設定に関連付けられるように特徴付けられるオブジェクトのグラウンドトゥルースラベルのテンプレートで補完されてもよい。

【0022】

要求又は他のトリガイベントがあると、ネットワークサービスは、コンテンツモデルのバリエーションに基づいて、訓練データのセットを生成するために使用する１つ以上のコンテンツモデルを選択することができる。例えば、郊外の設定に関連する上記のコンテンツモデルを使用して、静止オブジェクト、動的オブジェクト（例えば、他の車両）、気象条件、障害物、様々な標識などのタイプに関連付けられたバリエーションに基づいて、シミュレートコンテンツ及び関連するグラウンドトゥルースラベルを生成することができる。例示的に、生成されたデータセットは、以前に収集された視覚データを、視覚データの処理から他の方法では利用できなかった可能性がある追加の情報又は属性／特性で補完することを可能にする。次いで、ネットワークサービスは、視覚データの完全なセット及びデータラベルを有する生成されたコンテンツを処理することができる。その後、ネットワークサービスは、組み合わされたデータセットに対する訓練に基づいて、更新された機械学習アルゴリズムを生成する。訓練済機械学習アルゴリズムは、視覚のみに基づいた車両に送信され得る。

【0023】

様々な態様は、例示的な実施形態及び特徴の組み合わせにより記載されているが、当業者は、例示及び特徴の組み合わせが本質的に例示的であり、限定として解釈されるべきではないと理解するであろう。より具体的には、本出願の態様は、組み合わせエンジン、ハイブリッドエンジン、電気エンジンなどのような異なる推進システムを有する車両を含む様々なタイプの車両に適用可能であってもよい。更に、本出願の態様は、異なるタイプのセンサ、感知システム、ナビゲーションシステム、又は場所システムを組み込むことができる様々なタイプの車両に適用可能であってもよい。したがって、例示的な例は、限定するものとして解釈されるべきではない。同様に、本出願の態様は、自律運転アプリケーション、運転者の利便性アプリケーションなどを含む、車両の動作を容易にし得る他のタイプの構成要素と組み合わされるか、又はそれらとともに実装されてもよい。

【0024】

図１は、本出願の１つ以上の態様による、車両内の視覚システムのためのシミュレートコンテンツモデル及び訓練セットデータを生成するための例示的な環境１００のブロック図を描写する。システム１００は、ネットワークを備えることができ、該ネットワークは、車両１０２のセット、ネットワークサービス１１０、及びシミュレートコンテンツシステム１２０を接続する。例示的に、ネットワークサービス１１０及びシミュレートコンテンツシステム１２０に関連付けられた様々な態様は、１つ以上の機能又はサービスに関連付けられた１つ以上の構成要素として実装され得る。構成要素は、別個のスタンドアロンの外部コンピューティングデバイスであってもよい１つ以上の外部コンピューティングデバイスによって実装又は実行されるソフトウェアモジュールに対応してもよい。したがって、ネットワークサービス１１０及びシミュレートコンテンツシステム１２０の構成要素は、１つ以上の外部コンピューティングデバイス上の任意の特定の実装態様を必要としないサービスの論理的表現として考慮されるべきである。

【0025】

図１に描写されるように、ネットワーク１０６は、システムのデバイス及びモジュールを接続する。ネットワークは、任意の数のデバイスを接続することができる。いくつかの実施形態では、ネットワークサービスプロバイダは、ネットワークを介してクライアントデバイスにネットワークに基づくサービスを提供する。ネットワークサービスプロバイダは、ネットワークに基づくサービスを実装し、仮想化されるか、又はベアメタルであり得るネットワークアクセス可能なコンピューティングリソース（コンピューティング、ストレージ、又はネットワークリソース、アプリケーション、又はサービスなど）の大規模な共有プールを指す。ネットワークサービスプロバイダは、顧客コマンドに応答してプログラム的にプロビジョニングされ、かつ解放され得る構成可能なコンピューティングリソースの共有プールへのオンデマンドネットワークアクセスを提供することができる。これらのリソースは、可変負荷に調整するために動的にプロビジョニング及び再構成され得る。したがって、「クラウドコンピューティング」又は「ネットワークに基づくコンピューティング」の概念は、ネットワークを介してサービスとして配信されるアプリケーションと、それらのサービスを提供するネットワークサービスプロバイダのハードウェア及びソフトウェアとの両方として考慮され得る。いくつかの実施形態では、ネットワークは、コンテンツ配信ネットワークであってもよい。

【0026】

例示的に、車両１０２のセットは、オブジェクトを識別し、識別されたオブジェクトの１つ以上の属性を特徴付けるための視覚のみに基づくシステムを用いて構成された１つ以上の車両に対応する。車両１０２のセットは、教師あり学習モデルを実装した機械学習アルゴリズムなどの機械学習アルゴリズムを用いて構成されており、これは、視覚システム入力のみを利用してオブジェクトを識別し、位置、速度、及び加速度属性などの識別されたオブジェクトの属性を特徴付けるように構成されている。車両１０２のセットは、レーダ検出システム、ＬＩＤＡＲ検出システムなどの任意の追加の検出システムを用いずに構成されてもよい。

【0027】

例示的に、ネットワークサービス１１０は、本出願の態様に適用されるような、視覚のみに基づくシステムのための機械学習アルゴリズムのための構成／要求に応答して機能性を提供することができる複数のネットワークに基づくサービスを含むことができる。図１に例示されるように、ネットワークに基づくサービス１１０は、車両１０２及びシミュレートコンテンツシステム１２０からデータセットを取得し、データセットを処理して機械学習アルゴリズムのための訓練材料を形成し、視覚のみに基づく車両１０２のための機械学習アルゴリズムを生成することができる視覚情報処理構成要素１１２を含むことができる。ネットワークに基づくサービスは、車両データストア１１４及び機械学習アルゴリズムデータストア１１６を含む、本出願の態様に関連付けられた様々な情報を維持するための複数のデータストアを含むことができる。図１のデータストアは、本質的に論理的であり、様々な方式でネットワークサービス１１０に実装され得る。

【0028】

ネットワークサービス１１０と同様に、シミュレートコンテンツサービス１２０は、本出願の態様に適用されるような、機械学習アプリケーションのためのデータの視覚フレーム及び関連するデータラベルの提供に関連する機能性を提供することができる複数のネットワークに基づくサービスを含むことができる。図１に例示されるように、ネットワークに基づくサービス１２０は、定義された属性／変数のセットに従って、様々なシミュレートコンテンツシナリオを作成することができるシナリオ生成構成要素１２２を含むことができる。シミュレートコンテンツサービス１２０は、シナリオクリップデータストア１２４及びグラウンドトゥルース属性データストア１２６を含む、本出願の態様に関連付けられた様々な情報を維持するための複数のデータストアを含むことができる。図１のデータストアは、本質的に論理的であり、様々な様式でシミュレートコンテンツサービスに実装され得る。

【0029】

例示の目的のために、図２Ａは、本出願の１つ以上の態様による、車両１０２に対応する環境を例示する。環境は、本明細書に記載されるように、車両の動作又は情報の収集のための入力を提供することができるローカルセンサ入力の集合を含む。ローカルセンサの集合は、車両に含まれるか、又は他の方法で動作中に車両によってアクセス可能な１つ以上のセンサ又はセンサに基づくシステムを含むことができる。ローカルセンサ又はセンサシステムは、車両に統合されてもよい。代替的に、ローカルセンサ又はセンサシステムは、物理接続、無線接続、又はそれらの組み合わせなど、車両に関連付けられたインターフェースによって提供されてもよい。

【0030】

一態様では、ローカルセンサは、オブジェクトの検出、検出されたオブジェクトの属性（例えば、位置、速度、加速度）、環境条件（例えば、雪、雨、氷、霧、煙など）の存在などの車両に入力を提供する視覚システムを含むことができる。視覚システムを形成するために車両に搭載されたカメラの例示的な集合は、図２Ｂに関して記載される。前述のように、車両１０２は、他の従来の検出システムからの支援を用いずに、又はその代わりに、定義された車両動作機能のためにそのような視覚システムに依存する。

【0031】

また別の態様では、ローカルセンサは、車両の測位情報を判定する際に様々なレベルの精度を可能にする外部ソースから参照情報を取得することができる１つ以上の測位システムを含むことができる。例えば、測位システムは、ＧＰＳソース、無線ローカルエリアネットワーク（ＷＬＡＮ）アクセスポイント情報源、Ｂｌｕｅｔｏｏｔｈ情報源、無線周波数識別（ＲＦＩＤ）源などからの情報を処理するための様々なハードウェア及びソフトウェア構成要素を含むことができる。いくつかの実施形態では、測位システムは、複数のソースから情報の組み合わせを取得することができる。例示的に、測位システムは、様々な入力源から情報を取得し、車両の測位情報、具体的には、現在の場所における標高を判定することができる。他の実施形態では、測位システムはまた、移動方向、速度、加速度などの移動関連動作パラメータを判定することができる。測位システムは、自動運転アプリケーション、強化された運転又はユーザ支援ナビゲーションなどを含む複数の目的のために車両の一部として構成されてもよい。例示的に、測位システムは、様々な車両パラメータ又はプロセス情報の識別を容易にする処理構成要素及びデータを含むことができる。

【0032】

更に別の態様では、ローカルセンサは、ナビゲーション関連情報を識別するための１つ以上のナビゲーションシステムを含むことができる。例示的に、ナビゲーションシステムは、測位システムから測位情報を取得し、標高、道路勾配などの識別された場所に関する特性又は情報を識別することができる。ナビゲーションシステムはまた、車両ユーザに提供又は予想されている方向に基づいて、多車線道路内の提案された又は意図された車線の場所を識別することができる。場所システムと同様に、ナビゲーションシステムは、自動運転アプリケーション、強化された運転又はユーザ支援ナビゲーションなどを含む複数の目的のために車両の一部として構成されてもよい。ナビゲーションシステムは、測位システムと組み合わされるか、又は統合されてもよい。例示的に、測位システムは、様々な車両パラメータ又はプロセス情報の識別を容易にする処理構成要素及びデータを含むことができる。

【0033】

ローカルリソースは、車両又は車両によってアクセス可能なコンピューティングデバイス（例えば、モバイルコンピューティングデバイス）上でホストされ得る１つ以上の処理構成要素を更に含む。処理構成要素は、例示的に、様々なローカルセンサ又はセンサシステムからの入力にアクセスし、本明細書に記載されるように入力されたデータを処理することができる。本出願の目的のために、処理構成要素は、例示的な態様に関連する１つ以上の機能に関して記載される。例えば、車両１０２内の処理構成要素は、収集された視覚情報に対応する第１のデータセットを収集し、送信する。

【0034】

環境は更に、動作状態のうちの１つ以上に従って使用するための様々な動作パラメータに関する情報を提供するように動作可能な様々な追加のセンサ構成要素又は感知システムを含むことができる。環境は、通信出力を介したデータの送信、メモリ内のデータの生成、他の処理構成要素への出力の送信などの出力を処理するための１つ以上の制御構成要素を更に含むことができる。

【0035】

ここで図２Ｂを参照すると、車両のための例示的な視覚システム２００が記載される。視覚システム２００は、車両の動作中に画像データをキャプチャできるカメラのセットを含む。上述したように、個々の画像情報は、例示された画像が画像の特定のタイムスタンプを表すように、特定の周波数で受信されてもよい。いくつかの実施形態では、画像情報は、高ダイナミックレンジ（ＨＤＲ）画像を表してもよい。例えば、異なる露出を組み合わせて、ＨＤＲ画像を形成してもよい。別の例として、画像センサからの画像は、それらをＨＤＲ画像に変換するために（例えば、機械学習モデルを使用して）事前に処理されてもよい。

【0036】

図２Ｂに例示されるように、カメラのセットは、画像データをキャプチャする前面カメラ２０２のセットを含むことができる。前面カメラは、車両のフロントガラス領域に搭載されて、わずかに高い高度を有してもよい。図２Ｂに例示されるように、前面カメラ２０２は、複合画像を生成するように構成された複数の個別のカメラを含むことができる。例えば、カメラハウジングは、前方を指す３つの画像センサを含んでもよい。この例では、第１の画像センサは、広角（例えば、魚眼）レンズを有してもよい。第２の画像センサは、通常又は標準レンズ（例えば、３５ｍｍの等価焦点距離、５０ｍｍの等価焦点距離など）を有してもよい。第３の画像センサは、ズーム又はナローレンズを有してもよい。このようにして、変化する焦点距離の３つの画像が、車両によって前方方向に取得されてもよい。視覚システム２００は、車両のドアピラーに搭載されたカメラ２０４のセットを更に含む。視覚システム２００は、車両のフロントバンパーに搭載された２つのカメラ２０６を更に含むことができる。追加的に、視覚システム２００は、リアバンパー、トランク、又はナンバープレートホルダに搭載された後面カメラ２０８を含むことができる。

【0037】

カメラ２０２、２０４、２０６、及び２０８のセットは全て、専用コントローラ／組み込みシステムなどの１つ以上の処理構成要素２１２にキャプチャされた画像を提供してもよい。例えば、処理構成要素２１２は、機械学習モデルに関連付けられた情報を迅速に処理するように構成された１つ以上の行列プロセッサを含んでもよい。処理構成要素２１２は、いくつかの実施形態では、畳み込みニューラルネットワークを通るフォワードパスに関連付けられた畳み込みを実行するために使用されてもよい。例えば、入力データ及び重みデータが畳み込まれてもよい。処理構成要素２１２は、畳み込みを実行する多数の乗算累積ユニットを含んでもよい。一例として、行列プロセッサは、より大きな畳み込み演算を容易にするために編成又はフォーマットされた入力データ及び重みデータを使用してもよい。代替的には、画像データは、汎用処理構成要素に送信されてもよい。

【0038】

例示的に、個々のカメラは、処理のための視覚データの別個の入力として動作してもよく、又は個別に考慮されてもよい。他の実施形態では、カメラデータの１つ以上のサブセットを組み合わせて、前面カメラ２０２のトリオなどの複合画像データを形成してもよい。図２Ｂに更に例示されるように、車両１０２などの視覚のみシステムを組み込む車両に関連する実施形態では、検出システムは２１０に含まれない。

【0039】

ここで図３Ａを参照すると、１つ以上のローカルリソース又はネットワークサービス上に視覚情報処理構成要素１１２を実装するための例示的なアーキテクチャが記載される。視覚情報処理構成要素１１２は、オブジェクト認識、ナビゲーション、場所サービスなどのための機械学習アルゴリズムに関連付けられた機能性を提供する構成要素／システムの一部であってもよい。

【0040】

図３Ａのアーキテクチャは、本質的に例示的であり、視覚情報処理構成要素１１２に対する特定のハードウェア又はソフトウェア構成を必要とすると解釈されるべきではない。図３Ａに描写される視覚情報処理構成要素１１２の一般的アーキテクチャは、本開示の態様を実装するために使用され得るコンピュータハードウェア及びソフトウェア構成要素の配置を含む。例示されるように、視覚情報処理構成要素１１２は、処理ユニット３０２、ネットワークインターフェース３０４、コンピュータ可読媒体ドライブ３０６、及び入力／出力デバイスインターフェース３０８を含み、それらの全ては、通信バスを経由して互いに通信することができる。視覚情報処理構成要素１１２の構成要素は、物理ハードウェア構成要素であるか、又は仮想化環境に実装されてもよい。

【0041】

ネットワークインターフェース３０４は、図１のネットワークのような１つ以上のネットワーク又はコンピューティングシステムに接続性を提供してもよい。したがって、処理ユニット３０２は、ネットワークを介して他のコンピューティングシステム又はサービスから情報及び命令を受信してもよい。処理ユニット３０２はまた、メモリ３１０と通信し、入力／出力デバイスインターフェース３０８を介して、任意選択的なディスプレイ（図示せず）のための出力情報を更に提供してもよい。いくつかの実施形態では、視覚情報処理構成要素１１２は、図３Ａに示された構成要素よりも多い（又は少ない）構成要素を含んでもよい。

【0042】

メモリ３１０は、１つ以上の実施形態を実装するために処理ユニット３０２が実行するコンピュータプログラム命令を含んでもよい。メモリ３１０は、概して、ＲＡＭ、ＲＯＭ、又は他の永続的若しくは非一時的メモリを含む。メモリ３１０は、インターフェースソフトウェア３１２と、視覚情報処理構成要素１１２の一般的な管理及び動作において処理ユニット３０２によって使用するためのコンピュータプログラム命令を提供するオペレーティングシステム３１４とを記憶してもよい。メモリ３１０は、本開示の態様を実装するためのコンピュータプログラム命令及び他の情報を更に含んでもよい。例えば、一実施形態では、メモリ３１０は、車両１０２、データストア、他のサービスなどの車両から情報（例えば、キャプチャされたビデオ情報）を取得するセンサインターフェース構成要素３１６を含む。

【0043】

メモリ３１０は、キャプチャされた視覚システム情報を取得及び処理し、本明細書に記載されるように、車両の様々な動作状態に従って、キャプチャされた視覚情報に対する追加的又は代替的なグラウンドトゥルースラベル情報を生成するための視覚情報処理構成要素３１８を更に含む。メモリ３１０は、視覚のみに基づく車両１０２で使用するための機械学習アルゴリズムを生成又は訓練するための視覚に基づく機械学習アルゴリズム処理構成要素３２０を更に含むことができる。例示的に、一実施形態では、視覚に基づく機械学習アルゴリズム処理構成要素３２０は、本明細書に記載されるように、訓練データとしてシミュレートコンテンツのセットを利用することができる。視覚情報処理構成要素１１２内に組み合わされた構成要素として例示されているが、関連技術分野の当業者は、メモリ３１０内の構成要素の１つ以上が、物理コンピューティング環境と仮想コンピューティング環境の両方を含む個別化されたコンピューティング環境で実装されてもよいことを理解するであろう。

【0044】

ここで図３Ｂを参照すると、本出願の態様による、シミュレートコンテンツサービス１２２を実装するための例示的なアーキテクチャが記載されている。シミュレートコンテンツサービス１２２は、オブジェクト認識、ナビゲーション、場所サービスなどのための機械学習アルゴリズムを生成することに関連付けられた、訓練データなどのデータを提供する構成要素／システムの一部であってもよい。

【0045】

図３Ｂのアーキテクチャは、本質的に例示的であり、シミュレートコンテンツサービス１２２に対する特定のハードウェア又はソフトウェア構成を必要とすると解釈されるべきではない。図３Ｂに描写されるシミュレートコンテンツサービス１２２の一般的アーキテクチャは、本開示の態様を実装するために使用され得るコンピュータハードウェア及びソフトウェア構成要素の配置を含む。例示されるように、ｖシミュレートコンテンツサービス１２２は、処理ユニット３５２、ネットワークインターフェース３５４、コンピュータ可読媒体ドライブ３５６、及び入力／出力デバイスインターフェース３５８を含み、これらの全ては、通信バスを経由して互いに通信してもよい。シミュレートコンテンツサービス１２２の構成要素は、物理ハードウェア構成要素であるか、又は仮想化環境に実装されてもよい。

【0046】

ネットワークインターフェース３５４は、図１のネットワークのような１つ以上のネットワーク又はコンピューティングシステムに接続性を提供してもよい。したがって、処理ユニット３５２は、ネットワークを介して他のコンピューティングシステム又はサービスから情報及び命令を受信してもよい。処理ユニット３５２はまた、メモリ３６０と通信し、入力／出力デバイスインターフェース３５８を介して、任意選択的なディスプレイ（図示せず）のための出力情報を更に提供してもよい。いくつかの実施形態では、シミュレートコンテンツサービス１２２は、図３Ｂに示されるものよりも多い（又は少ない）構成要素を含んでもよい。

【0047】

メモリ３６０は、１つ以上の実施形態を実装するために処理ユニット３５２が実行するコンピュータプログラム命令を含んでもよい。メモリ３６０は、概して、ＲＡＭ、ＲＯＭ、又は他の永続的若しくは非一時的メモリを含む。メモリ３６０は、インターフェースソフトウェア３６２と、シミュレートコンテンツサービス１２２の一般的な管理及び動作において処理ユニット３５２によって使用するためのコンピュータプログラム命令を提供するオペレーティングシステム３６４とを記憶してもよい。

【0048】

メモリ３６０は、本開示の態様を実装するためのコンピュータプログラム命令及び他の情報を更に含んでもよい。例えば、一実施形態では、メモリ３６０は、車両１０２、データストア、他のサービスなどの車両から視覚システム情報を取得する視覚情報インターフェース構成要素３６６を含む。メモリ３６０は、受信された視覚システムデータ又はデータラベル（例えば、グラウンドトゥルースラベルデータ）を取得及び処理し、本明細書に記載されるように、シミュレートされたコンテンツ属性データ内の視覚システムデータを処理するためのモデル訓練構成要素３６８を更に含む。メモリ３６０は、視覚のみに基づく車両１０２で使用するための機械学習アルゴリズムのための訓練データを生成するための視覚に基づく機械学習アルゴリズム処理構成要素３７０を更に含むことができる。

【0049】

シミュレートコンテンツサービス１２２内に組み合わされた構成要素として例示されているが、関連技術分野の当業者は、メモリ３１０内の構成要素の１つ以上が、物理コンピューティング環境と仮想コンピューティング環境の両方を含む個別化されたコンピューティング環境で実装されてもよいことを理解するであろう。

【0050】

ここで図４Ａ～図４Ｃを参照すると、視覚システムデータを処理し、シミュレートコンテンツシステムデータを生成して機械学習アルゴリズムのための訓練モデルを更新する環境の構成要素のための例示的な相互作用が記載されている。（１）において、１つ以上の車両１０２は、入力のセット（例えば、第１のデータセット）を収集し、送信することができる。第１のデータセットは、例示的に、ビデオ画像データ、及び任意の関連するメタデータ、又は車両１０２の視覚システム２００によって収集された他の属性に対応する。

【0051】

例示的に、車両１０２は、視覚システムデータを収集し、収集されたデータを送信するように構成されてもよい。例示的に、車両１０２は、キャプチャされた視覚システム情報に対するグラウンドトゥルースラベル情報を少なくとも部分的に生成するために、視覚システム内の処理能力を含んでもよい。他の実施形態では、車両１０２は、（任意のグラウンドトゥルースラベルの有無にかかわらず）キャプチャされた視覚システム情報を、ネットワーク１１０内などの別のサービスに送信してもよい。次いで、追加のサービスは、（手動又は自動的に）グラウンドトゥルースラベル情報を追加することができる。例えば、収集された視覚システムデータは、周期的な時間枠又は様々な収集／送信基準に基づいて送信されてもよい。また更に、いくつかの実施形態では、車両１０２はまた、収集されたデータの収集及び送信をもたらす地理的座標又は他の識別子を介してなどにより、特定のシナリオ又は場所を識別するように構成されてもよい。図４Ａに示されるように、（２）において、収集された視覚システムデータは、車両１０２から直接、又はネットワークサービス１１０を介して間接的にシミュレートコンテンツサービス１２２に送信されてもよい。

【0052】

（３）において、シミュレートコンテンツサービス１２２は、収集された視覚システムデータ及びグラウンドトゥルースラベルを車両１０２から受信して処理する。例示的に、シミュレートコンテンツサービス１２２は、ビデオデータの失われたフレーム、バージョン情報の更新、エラー訂正などを完了するために、視覚に基づくデータを処理することができる。追加的に、（３）において、いくつかの実施形態では、シミュレートコンテンツサービス１２２は、収集された視覚システムデータを更に処理して、キャプチャされたビデオデータに対するグラウンドトゥルースラベルを識別することができる。更に他の実施形態では、シミュレートコンテンツサービス１２２は、欠落している、又は誤っているグラウンドトゥルースラベル情報を追加のソースから要求又は他の方法で取得することができる。例示的に、グラウンドトゥルースラベルは、ビデオデータに描写され得る様々な検出可能なオブジェクトのうちのいずれか１つに対応することができる。一実施形態では、グラウンドトゥルースラベルデータは、（一例示的な実施形態に記載されるように）シミュレートコンテンツの生成においてより高い優先度又は重要度を有し得る、道路エッジを識別する情報を含むことができる。追加的に、グラウンドトゥルースラベルデータは、車線境界線、車線中央などの識別された道路エッジ、及び１つ以上の静止オブジェクト（例えば、道路標識、マーカーなど）に依存する情報を含むことができる。また更に、いくつかの実施形態では、グラウンドトゥルースラベルデータは、車両、動的障害物、環境オブジェクトなどの１つ以上の識別されたオブジェクトに関連する動的オブジェクトデータを含むことができる。いくつかの実施形態では、（３）に記載されるように、受信された視覚データ及びグラウンドトゥルースラベル情報の追加の処理は、必要とされなくてもよい。

【0053】

（４）において、シミュレートコンテンツサービス１２２は、シミュレートコンテンツに対するコンテンツモデルを形成する際の利用のためにグラウンドトゥルースラベルデータを処理することができる。例示的に、シミュレートコンテンツサービス１２２は、シミュレートコンテンツに対する基礎として使用されるコアグラウンドトゥルースラベルデータを識別／抽出するための優先度に従ってグラウンドトゥルースラベルを処理することができる。例示的に、レーンエッジグラウンドトゥルースラベルは、より高い又はより高い優先度を有すると考慮されてもよい。車線境界線ラベル、車線中央ラベル、静的オブジェクトラベル、又は動的オブジェクトラベルなどの追加のグラウンドトゥルースラベルデータは、車線ラベルデータに関して、又は互いに対して低いか、又はより低い優先度に関連付けられてもよい。いくつかの実施形態では、ラベルデータは、シミュレートコンテンツによって置き換えられ得るか、又は他の方法でシミュレートコンテンツを生成するために必要とされない１つ以上のラベル（例えば、動的オブジェクト）を除去するためにフィルタリングされてもよい。例示の目的のために、グラウンドトゥルースラベルの処理されたセットは、シミュレートコンテンツのためになるコンテンツモデル属性と考慮されてもよい。更に、他の実施形態では、シミュレートコンテンツサービス１２２は、形成されるシミュレートコンテンツの特性に基づいて、標準化されたグラウンドトゥルースラベルの事前構成又はテンプレートを利用することができる。例えば、都市環境（例えば、ビジネス地区）でキャプチャされた視覚情報のためのシミュレートコンテンツは、そのようなビジネス地区に一般的に存在すると考慮され得る静止オブジェクト、建物、標識、信号機などのテンプレートを利用することができる。

【0054】

（５）において、シミュレートコンテンツサービス１２２は、シミュレートコンテンツの将来の生成のためのモデルを生成する。例示的に、シミュレートコンテンツサービス１２２は、収集されたグラウンドトゥルースラベルデータを処理し、本明細書に記載されるようにシミュレートコンテンツのセットを形成するためのバリエーションを生成するためのグラウンドトゥルースラベルのセットを準備することができる。このような処理は、誤差調整、外挿、バリエーションなどの修正を含むことができる。

【0055】

（６）において、シミュレートコンテンツサービス１２２は、各クリップについてのインデックスデータ又は属性データ（例えば、メタデータ）、又はデータの選択、ソート、若しくはメンテナンスを容易にするシミュレートコンテンツデータを生成することができる。インデックス又は属性データは、場所の識別、シミュレートされたオブジェクトのタイプ、生成／利用可能なバリエーションの数、シミュレートされた環境条件、追跡情報、起源情報などを含むことができる。図４Ａの目的のために、シミュレートコンテンツは、訓練セットを形成するためのシナリオのために特定の要求／必要性なしに生成されてもよく、これは、図４Ｂに関して記載されている。

【0056】

図４Ｂを参照すると、例示的に、記憶され、インデックス付けされたシミュレートコンテンツ情報は、訓練データの一部として、ネットワークサービス１１０に提供され得る。（１）において、シミュレートコンテンツサービス１２２は、（生成されるか、又は以前に生成された）コンテンツモデルを選択するための選択又は基準を受信することができる。例示的に、コンピューティングデバイス１０４は、ソート基準などの基準を提供するために利用されてもよい。いくつかの実施形態では、シミュレートコンテンツに対する要求は、シミュレートコンテンツの属性を提供するために利用される。したがって、シミュレートコンテンツの生成は、シミュレートコンテンツ自体を生成する際のシミュレートコンテンツに対する要求に応答すると考慮され得る。このように、シミュレートコンテンツの生成は、本質的に同期しているか、又は本質的に依存していると考慮されてもよい。他の実施形態では、要求は、シミュレートコンテンツサービス１２２が、シミュレートコンテンツに対する個別の要求に依存しない事前構成属性又は構成に基づいてシミュレートコンテンツを生成することができるように、インデックス値又は属性の単純な選択であってもよい。したがって、シミュレートコンテンツの生成は、要求に対して独立していると考慮されてもよい。

【0057】

（２）において、ネットワークサービス１１０は、次いで、要求を処理し、インデックスデータを介するなどして、生成されたシミュレートコンテンツモデルを識別することができる。（３）において、シミュレートコンテンツサービス１２２は、補足ビデオ画像データ及び関連する属性データを生成する。例示的に、シミュレートコンテンツシステム１２０は、補足コンテンツとして使用するための異なるシナリオ又はシーンを作成するために変更され得る変数又は属性のセットを利用することができる。例えば、シミュレートコンテンツシステム１２０は、識別されたオブジェクトに関連する様々なシナリオを作成するために、カラー属性、オブジェクト属性のタイプ、加速度属性、アクション属性、データ属性の時間、場所／位置属性、気象条件属性、及び車両属性の密度を利用することができる。例示的に、補足コンテンツは、車両１０２のセットによって発生する可能性が低い、又は測定され得る現実世界のシナリオをエミュレートするために利用され得る。例えば、補足コンテンツは、安全でない又は危険な条件に対応する様々なシナリオをエミュレートすることができる。

【0058】

シミュレートコンテンツシステム１２０は、そうでなければ機械学習アルゴリズムをバイアスする可能性を有するであろう些細な違い（例えば、オブジェクトの色によってのみ変化する類似のシナリオ）に基づいて、シナリオの統計的選択を例示的に利用して、繰り返しを回避してもよい。追加的に、シミュレートコンテンツシステムは、補足コンテンツフレームの数及び１つ以上の変数における差異の分布にコンテンツサービス１２２をシミュレートした。例示的に、シミュレートコンテンツサービス１２２からの出力は、ネットワークサービス１１０によって検出又は処理され得る１つ以上の属性（例えば、位置、速度、及び加速度）を識別するラベル（例えば、グラウンドトゥルース情報）を含むことができる。これに関して、シミュレートコンテンツデータセットは、詳細なラベルを容易にすることができ、異なる機械学習訓練セットに対して必要に応じて動的に調整され得る。（４）において、シミュレートコンテンツ訓練セットは、ネットワークサービス１１０に送信される。

【0059】

ここで図４Ｃを参照すると、ネットワークサービス１１０が訓練セットを受信すると、（１）において、ネットワークサービス１１０は、訓練セットを処理する。（２）において、ネットワークサービス１００は、組み合わされたデータセットに対する訓練に基づいて、更新された機械学習アルゴリズムを生成する。例示的に、ネットワークサービス１１０は、多様な機械学習モデルを利用して、更新された機械学習アルゴリズムを生成することができる。

【0060】

ここで図５を参照すると、収集された視覚及びシミュレートコンテンツシステムデータを処理するためのルーチン５００が記載されている。ルーチン５００は、シミュレートコンテンツサービス１２２によって例示的に実装される。上述のように、ルーチン５００は、キャプチャされた視覚システムデータに対する視覚システムデータ及びグラウンドトゥルースラベルデータを含むターゲット車両１０２が処理のために利用可能である後に実装されてもよい。例示的に、車両１０２は、視覚システムデータを収集し、収集されたデータ及び関連するグラウンドトゥルースラベルを送信するように構成されてもよい。例えば、収集された視覚システムデータは、周期的な時間枠又は様々な収集／送信基準に基づいて送信されてもよい。また更に、いくつかの実施形態では、車両１０２はまた、収集されたデータの収集及び送信をもたらす地理的座標又は他の識別子を介してなどにより、特定のシナリオ又は場所を識別するように構成されてもよい。上述のように、車両１０２は、キャプチャされた視覚システム情報に対するグラウンドトゥルースラベル情報を少なくとも部分的に生成するために、視覚システム内の処理能力を含んでもよい。他の実施形態では、車両１０２は、（任意のグラウンドトゥルースラベルの有無にかかわらず）キャプチャされた視覚システム情報を、ネットワーク１１０内などの別のサービスに送信してもよい。次いで、追加のサービスは、（手動又は自動的に）グラウンドトゥルースラベル情報を追加することができる。したがって、図４Ａに先に例示されるように、収集された視覚システムデータは、車両１０２から直接、又はネットワークサービス１１０を介して間接的にシミュレートコンテンツサービス１２２に送信されてもよい。

【0061】

ブロック５０２において、シミュレートコンテンツサービス１２２は、収集された視覚システムデータ及びグラウンドトゥルースラベル情報を車両１０２から（直接的又は間接的に）受信して処理する。例示的に、シミュレートコンテンツサービス１２２は、ビデオデータの失われたフレーム、バージョン情報の更新、エラー訂正などを完了するために、視覚に基づくデータを処理することができる。

【0062】

ブロック５０４において、シミュレートコンテンツサービス１２２は、任意選択で、収集された視覚システムデータを処理して、キャプチャされたビデオデータに対するグラウンドトゥルースラベルを識別することができる。他の実施形態では、シミュレートコンテンツサービス１２２は、欠落している、又は誤っているグラウンドトゥルースラベル情報を追加のソースから要求又は他の方法で取得することができる。更に他の実施形態では、シミュレートコンテンツサービス１２２は、任意の関連するキャプチャされた視覚システムデータなしで、グラウンドトゥルースラベル情報だけを取得することができる。例示的に、グラウンドトゥルースラベルは、ビデオデータに描写され得る様々な検出可能なオブジェクトのうちのいずれか１つに対応することができる。一実施形態では、グラウンドトゥルースラベルデータは、道路エッジを識別する情報を含むことができる。追加的に、グラウンドトゥルースラベルデータは、車線境界線、車線中央などの識別された道路エッジ、及び１つ以上の静止オブジェクト（例えば、道路標識、マーカーなど）に依存する情報を含むことができる。また更に、いくつかの実施形態では、グラウンドトゥルースラベルデータは、車両、動的障害物、環境オブジェクトなどの１つ以上の識別されたオブジェクトに関連する動的オブジェクトデータを含むことができる。

【0063】

ブロック５０６において、シミュレートコンテンツサービス１２２は、グラウンドトゥルースラベルデータを処理して、シミュレートコンテンツの基礎を形成するモデル属性を識別することができる。例示的に、シミュレートコンテンツサービス１２２は、シミュレートコンテンツに対する基礎として使用されるコアグラウンドトゥルースラベルデータを識別／抽出するための優先度に従ってグラウンドトゥルースラベルを処理することができる。例示的に、レーンエッジグラウンドトゥルースラベルは、より高い又はより高い優先順位を有すると考慮されてもよい。車線境界線ラベル、車線中央ラベル、静的オブジェクトラベル、又は動的オブジェクトラベルなどの追加のグラウンドトゥルースラベルデータは、車線ラベルデータに関して、又は互いに対して低いか、又はより低い優先度に関連付けられてもよい。いくつかの実施形態では、ラベルデータは、シミュレートコンテンツによって置き換えられ得るか、又は他の方法でシミュレートコンテンツを生成するために必要とされない１つ以上のラベル（例えば、動的オブジェクト）を除去するためにフィルタリングされてもよい。例示の目的のために、グラウンドトゥルースラベルの処理されたセットは、シミュレートコンテンツのためになるコンテンツモデル属性と考慮されてもよい。更に、他の実施形態では、シミュレートコンテンツサービス１２２は、形成されるシミュレートコンテンツの特性に基づいて、標準化されたグラウンドトゥルースラベルの事前構成又はテンプレートを利用することができる。例えば、都市環境（例えば、ビジネス地区）でキャプチャされた視覚情報のためのシミュレートコンテンツは、そのようなビジネス地区に一般的に存在すると考慮され得る静止オブジェクト、建物、標識、信号機などのテンプレートを利用することができる。

【0064】

ブロック５０８において、シミュレートコンテンツサービス１２２は、シミュレートコンテンツの将来の生成のためのモデルを生成する。例示的に、シミュレートコンテンツサービス１２２は、収集されたグラウンドトゥルースラベルデータを処理し、本明細書に記載されるようにシミュレートコンテンツのセットを形成するためのバリエーションを生成するためのグラウンドトゥルースラベルのセットを準備することができる。そのような処理はブロック５１０に対する修正を含むことができ、シミュレートコンテンツサービス１２２は、各クリップについてのインデックスデータ又は属性データ（例えば、メタデータ）、又はデータの選択、ソート、若しくはメンテナンスを容易にするシミュレートコンテンツデータを生成することができる。インデックス又は属性データは、場所の識別、シミュレートされたオブジェクトのタイプ、生成／利用可能なバリエーションの数、シミュレートされた環境条件、追跡情報、起源情報などを含むことができる。ブロック５１２において、シミュレートコンテンツサービス１２２は、生成されたコンテンツモデル属性及び識別されたインデックス及びモデル属性を記憶する。ルーチン５００は、ブロック５１４において終了する。

【0065】

ここで図６を参照すると、収集された視覚及びシミュレートコンテンツシステムデータを使用して更新された機械学習アルゴリズムを生成するためのルーチン６００が記載されている。ルーチン６００は、シミュレートコンテンツサービス１２２によって例示的に実装される。ブロック６０２において、シミュレートコンテンツサービス１２２は、データを選択するための選択又は基準を受信することができる。例示的に、コンピューティングデバイス１０４は、ソート基準などの基準を提供するために利用されてもよい。いくつかの実施形態では、シミュレートコンテンツに対する要求は、シミュレートコンテンツの属性を提供するために利用される。したがって、シミュレートコンテンツの生成は、シミュレートコンテンツ自体を生成する際のシミュレートコンテンツに対する要求に応答すると考慮され得る。このように、シミュレートコンテンツの生成は、本質的に同期しているか、又は本質的に依存していると考慮されてもよい。他の実施形態では、要求は、シミュレートコンテンツサービス１２２が、シミュレートコンテンツに対する個別の要求に依存しない事前構成属性又は構成に基づいてシミュレートコンテンツを生成することができるように、インデックス値又は属性の単純な選択であってもよい。したがって、シミュレートコンテンツの生成は、要求に対して独立していると考慮されてもよい。

【0066】

ブロック６０４で、シミュレートコンテンツサービス１２２は、次いで、要求を処理し、インデックスデータを介するなどして、生成されたシミュレートコンテンツモデルを識別する。次いで、シミュレートコンテンツサービス１１２は、シミュレートコンテンツのセットを生成するために使用される属性又は変数を識別することができる。例示的に、シミュレートコンテンツシステム１２０は、補足コンテンツとして使用するための異なるシナリオ又はシーンを作成するために変更され得る変数又は属性のセットを利用することができる。例えば、シミュレートコンテンツシステム１２０は、識別されたオブジェクトに関連する様々なシナリオを作成するために、カラー属性、オブジェクト属性のタイプ、加速度属性、アクション属性、データ属性の時間、場所／位置属性、気象条件属性、及び車両属性の密度を利用することができる。例示的に、補足コンテンツは、車両１０２のセットによって発生する可能性が低い、又は測定され得る現実世界のシナリオをエミュレートするために利用され得る。例えば、補足コンテンツは、安全でない又は危険な条件に対応する様々なシナリオをエミュレートすることができる。

【0067】

シミュレートコンテンツシステム１２０は、そうでなければ機械学習アルゴリズムをバイアスする可能性を有するであろう些細な違い（例えば、オブジェクトの色によってのみ変化する類似のシナリオ）に基づいて、シナリオの統計的選択を例示的に利用して、繰り返しを回避してもよい。追加的に、シミュレートコンテンツシステムは、補足コンテンツフレームの数及び１つ以上の変数における差異の分布にコンテンツサービス１２２をシミュレートした。例示的に、シミュレートコンテンツサービス１２２からの出力は、ネットワークサービス１１０によって検出又は処理され得る１つ以上の属性（例えば、位置、速度、及び加速度）を識別するラベル（例えば、グラウンドトゥルース情報）を含むことができる。これに関して、シミュレートコンテンツデータセットは、詳細なラベルを容易にすることができ、異なる機械学習訓練セットに対して必要に応じて動的に調整され得る。

【0068】

ブロック６０６において、シミュレートコンテンツサービス１２２は、補足ビデオ画像データ及び関連する属性データを生成する。ブロック６０８において、シミュレートコンテンツ訓練セットは、ネットワークサービス１１０に送信される。いくつかの実施形態では、シミュレートコンテンツサービス１２２は、特定の基準に基づいて、又は要求に応じて、訓練セットを記憶するか、又は送信してもよい。ブロック６１０において、ルーチン６００は終了する。例示的な利益のために、シミュレートコンテンツシステム１２２は、非常に効率的であり、キャプチャされた視覚情報からのみ、又は手動でシミュレートコンテンツを作成することによって訓練セットデータを形成する従来の方法よりも有意に少ない時間を必要とする方法で、機械学習アルゴリズムを訓練するための訓練セットを生成することができる。これは、シミュレートコンテンツサービス１２２に判定又は提供される任意の数の基準に基づいて継続的に最適化され得る機械学習アルゴリズムの有意な利点及び増加したパフォーマンスを生成する。

【0069】

前述の開示は、本開示を開示される正確な形態又は特定の使用分野に限定することを意図しない。そのため、本明細書に明示的に記載されているか、又は暗示されているかにかかわらず、本開示の様々な代替的な実施形態及び／又は修正が可能であることが企図される。したがって、本開示の記載された実施形態を有することにより、当業者は、本開示の範囲から逸脱することなく、変更が形態及び詳細に行われ得ることを認識するであろう。したがって、本開示は、特許請求の範囲によってのみ限定される。

【0070】

前述の明細書では、本開示は、特定の実施形態を参照して記載されている。しかしながら、当業者が理解するように、本明細書に開示される様々な実施形態は、本開示の趣旨及び範囲から逸脱することなく、様々な他の方法で修正されるか、又は別様に実装され得る。したがって、この説明は、例示的なものとみなされ、開示された決定アルゴリズム及び制御アルゴリズムの様々な実施形態の作成方法及び使用方法を当業者に教示する目的のためのものである。本明細書に示され、記載される開示の形態が、代表的な実施形態として受け取られるべきであることを理解されたい。均等な要素、材料、プロセス、又はステップは、本明細書に代表的に例示及び記載されるものに置き換えられてもよい。更に、本開示の特定の特徴は、他の特徴の使用とは独立して利用されてもよく、全ては、本開示のこの説明の利益を得た後に当業者には明らかであろう。本開示を記載し、請求項に記載するために使用される「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｃｏｍｐｒｉｓｉｎｇ（備える）」、「ｉｎｃｏｒｐｏｒａｔｉｎｇ（組み込む）」、「ｃｏｎｓｉｓｔｉｎｇ ｏｆ（からなる）」、「ｈａｖｅ（有する）」、「ｉｓ（である）」などの表現は、非排他的な方法で解釈されることを意図しており、すなわち、明示的に記載されていないアイテム、構成要素、又は要素もまた存在することを可能にする。単数形への言及はまた、複数形に関連するように解釈されるべきである。

【0071】

更に、本明細書に開示される様々な実施形態は、例示的及び説明的な意味で受け取られるべきであり、決して本開示を限定するものとして解釈されるべきではない。全てのジョインダ参照（例えば、取り付けられた、貼り付けられた、結合された、接続されたなど）は、本開示の読者の理解を助けるためにのみ使用され、特に本明細書に開示されたシステム及び／又は方法の位置、向き、又は使用に関する制限を生じさせてはならない。したがって、ジョインダ参照がある場合、広義に解釈されるべきである。更に、このようなジョインダ参照は、これらの２つの要素が互いに直接接続されていることを必ずしも推測するものではない。

【0072】

追加的に、「第１の」、「第２の」、「第３の」、「一次の」、「二次の」、「主要な」、又は任意の他の通常の及び／又は数値用語などの、全ての数値用語もまた、本開示の様々な要素、実施形態、バリエーション及び／又は修正の読者の理解を支援するために、識別子としてのみとみなされるべきであり、特に、別の要素、実施形態、バリエーション及び／又は修正に対する、又はそれ以上の任意の要素、実施形態、バリエーション及び／又は修正の順序、又は好みに関して、任意の制限を生じさせてはならない。

【0073】

また、図面／図に描写される要素のうちの１つ以上はまた、特定のアプリケーションに従って有用であるように、より分離された又は統合された方法で実装されてもよく、特定の場合には、取り外されてもよく、又は動作不能としてレンダリングされ得ることが理解されるであろう。

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図4A】

【図4B】

【図4C】

【図5】

【図6】

【国際調査報告】