ホーム > 特許ランキング > テスラ，インコーポレイテッド
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024020237
(43)【公開日】2024-02-14
(54)【発明の名称】自動運転のための３次元特徴の予測
(51)【国際特許分類】
B60W 40/02 20060101AFI20240206BHJP
B60W 30/12 20200101ALI20240206BHJP
G08G 1/16 20060101ALI20240206BHJP
【ＦＩ】
B60W40/02
B60W30/12
G08G1/16 C
【審査請求】有
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023182986
(22)【出願日】2023-10-25
(62)【分割の表示】P 2021544315の分割
【原出願日】2020-01-28
(31)【優先権主張番号】16/265,720
(32)【優先日】2019-02-01
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】510192916
【氏名又は名称】テスラ，インコーポレイテッド
(74)【代理人】
【識別番号】110000659
【氏名又は名称】弁理士法人広江アソシエイツ特許事務所
(72)【発明者】
【氏名】エルスワミー，アショク クマー
(72)【発明者】
【氏名】バウホ，マシュー
(72)【発明者】
【氏名】ペイン，クリストファー
(72)【発明者】
【氏名】カーパシー，アンドレイ
(72)【発明者】
【氏名】シロフ，ダハヴァル
(72)【発明者】
【氏名】ラマナンダン，アーヴィンド
(72)【発明者】
【氏名】ヘークウィル，ジェームズ ロバート ハワード
(57)【要約】 （修正有）
【課題】自動運転などの用途に使用される深層学習システムの正確なラベル付き訓練データを生成する。
【解決手段】画像データおよびオドメトリデータを含むセンサデータを受信して、訓練データセットを作成し（２０１）、畳込みニューラルネットワーク（ＣＮＮ）などのニューラルネットワークで機械学習モデルが訓練される（２０３）。次に訓練された機械学習モデルを車両にインストールし（２０５）、センサデータが受信される（２０７）。次にＡＩプロセッサなどの訓練された機械学習モデルを適用し（２０９）、自律型車両を制御する（２１１）。
【選択図】図２
【解決手段】画像データおよびオドメトリデータを含むセンサデータを受信して、訓練データセットを作成し（２０１）、畳込みニューラルネットワーク（ＣＮＮ）などのニューラルネットワークで機械学習モデルが訓練される（２０３）。次に訓練された機械学習モデルを車両にインストールし（２０５）、センサデータが受信される（２０７）。次にＡＩプロセッサなどの訓練された機械学習モデルを適用し（２０９）、自律型車両を制御する（２１１）。
【選択図】図２
【特許請求の範囲】
【請求項1】
プロセッサであって、
車両のカメラによって捕捉された画像に基づいて画像データを受信し、
機械学習特徴の３次元軌跡を予測するように訓練された、訓練済機械学習モデルへの
入力の基礎として前記画像データを使用し、
前記車両を自動的に制御する際、前記機械学習特徴の前記３次元軌跡を提供するよう
に構成された、プロセッサと、
前記プロセッサに結合され、前記プロセッサに命令を提供するように構成されたメモリ
と、を備える、システム。
車両のカメラによって捕捉された画像に基づいて画像データを受信し、
機械学習特徴の３次元軌跡を予測するように訓練された、訓練済機械学習モデルへの
入力の基礎として前記画像データを使用し、
前記車両を自動的に制御する際、前記機械学習特徴の前記３次元軌跡を提供するよう
に構成された、プロセッサと、
前記プロセッサに結合され、前記プロセッサに命令を提供するように構成されたメモリ
と、を備える、システム。
【請求項2】
前記機械学習特徴は、車両レーンラインに関連付けられる、請求項１に記載のシステム
。
。
【請求項3】
前記車両レーンラインの前記３次元軌跡の部分が、前記画像データにおいて閉塞されて
いる、請求項２に記載のシステム。
いる、請求項２に記載のシステム。
【請求項4】
前記プロセッサは、前記車両によって占有された車両レーンを識別するように前記車両
レーンラインを使用するようにさらに構成された、請求項２または３に記載のシステム。
レーンラインを使用するようにさらに構成された、請求項２または３に記載のシステム。
【請求項5】
車両レーンが運転可能空間を識別することに使用される、請求項２から４のいずれか一
項に記載のシステム。
項に記載のシステム。
【請求項6】
識別された前記運転可能空間が、前記車両レーン内に前記車両を維持することに使用さ
れる、請求項５に記載のシステム。
れる、請求項５に記載のシステム。
【請求項7】
前記車両の前記カメラは、前向きカメラ、横向きカメラ、または、後ろ向きカメラの少
なくとも１つを含む、請求項１から６のいずれか一項に記載のシステム。
なくとも１つを含む、請求項１から６のいずれか一項に記載のシステム。
【請求項8】
予測された前記３次元軌跡は、複数の識別された潜在的な軌跡のうちの１つである、請
求項１から７のいずれか一項に記載のシステム。
求項１から７のいずれか一項に記載のシステム。
【請求項9】
予測された前記３次元軌跡は、前記複数の識別された潜在的な軌跡の中で最も高い出現
確率の値を有する、請求項８に記載のシステム。
確率の値を有する、請求項８に記載のシステム。
【請求項10】
前記訓練済機械学習モデルを訓練することに使用された訓練データは、時系列要素のグ
ループ内の選択された時系列要素を含む、請求項１から９のいずれか一項に記載のシステ
ム。
ループ内の選択された時系列要素を含む、請求項１から９のいずれか一項に記載のシステ
ム。
【請求項11】
前記訓練データは、前記時系列要素のグループに関連付けられたオドメトリデータの関
連するセットをさらに含む、請求項１０に記載のシステム。
連するセットをさらに含む、請求項１０に記載のシステム。
【請求項12】
前記訓練セットの少なくとも一部は、対応するグラウンドトゥルースで自動的にラベル
付けされる、請求項１０または１１に記載のシステム。
付けされる、請求項１０または１１に記載のシステム。
【請求項13】
前記車両の制御は、前記車両の速度および操舵を調整することを含む、請求項１から１
２のいずれか一項に記載のシステム。
２のいずれか一項に記載のシステム。
【請求項14】
前記３次元軌跡は、スプラインによって表される、請求項１から１３のいずれか一項に
記載のシステム。
記載のシステム。
【請求項15】
前記３次元軌跡は、１以上の区分多項式によって表される、請求項１から１４のいずれ
か一項に記載のシステム。
か一項に記載のシステム。
【請求項16】
前記機械学習特徴は、第２の車両の予測経路に関連付けられる、請求項１から１５のい
ずれか一項に記載のシステム。
ずれか一項に記載のシステム。
【請求項17】
前記第２の車両の前記予測経路は、自動的に制御されている前記車両によって占有され
たレーンに前記第２の車両が進入する可能性が高いかどうかを決定することに使用される
、請求項１６に記載のシステム。
たレーンに前記第２の車両が進入する可能性が高いかどうかを決定することに使用される
、請求項１６に記載のシステム。
【請求項18】
前記車両の制御は、前記第２の車両との衝突を避けるように速度または操舵を調整する
ことを含む、請求項１７に記載のシステム。
ことを含む、請求項１７に記載のシステム。
【請求項19】
コンピュータプログラム製品であって、前記コンピュータプログラム製品は、非一時的
なコンピュータ可読記憶媒体に具現化され、かつ、
車両のカメラによって捕捉された画像に基づいて画像データを受信し、
車両レーンの３次元軌跡を予測するように訓練された、訓練済機械学習モデルへの入力
の基礎として前記画像データを使用し、
前記車両を自動的に制御する際、前記車両レーンの前記３次元軌跡を提供する、ための
コンピュータ命令を含む、コンピュータプログラム製品。
なコンピュータ可読記憶媒体に具現化され、かつ、
車両のカメラによって捕捉された画像に基づいて画像データを受信し、
車両レーンの３次元軌跡を予測するように訓練された、訓練済機械学習モデルへの入力
の基礎として前記画像データを使用し、
前記車両を自動的に制御する際、前記車両レーンの前記３次元軌跡を提供する、ための
コンピュータ命令を含む、コンピュータプログラム製品。
【請求項20】
車両のカメラによって捕捉された画像に基づいて画像データを受信するステップと、
車両レーンの３次元軌跡を予測するように訓練された、訓練済の機械学習モデルへの入
力の基礎として前記画像データを使用するステップと、
前記車両を自動的に制御する際、前記車両レーンの前記３次元軌跡を提供するステップ
と、を含む方法。
車両レーンの３次元軌跡を予測するように訓練された、訓練済の機械学習モデルへの入
力の基礎として前記画像データを使用するステップと、
前記車両を自動的に制御する際、前記車両レーンの前記３次元軌跡を提供するステップ
と、を含む方法。
【発明の詳細な説明】
【背景技術】
【0001】
［関連出願の相互参照］
本出願は、２０１９年２月１日に出願された、「ＰＲＥＤＩＣＴＩＮＧ ＴＨＲＥＥ－
ＤＩＭＥＮＳＩＯＮＡＬ ＦＥＡＴＵＲＥＳ ＦＯＲ ＡＵＴＯＮＯＭＯＵＳ ＤＲＩＶ
ＩＮＧ（自動運転のための３次元特徴の予測）」と題する米国特許出願第１６／２６５７
２０号の継続出願であり、その優先権を主張し、その開示内容全体が参照により本明細書
に組み込まれる。
本出願は、２０１９年２月１日に出願された、「ＰＲＥＤＩＣＴＩＮＧ ＴＨＲＥＥ－
ＤＩＭＥＮＳＩＯＮＡＬ ＦＥＡＴＵＲＥＳ ＦＯＲ ＡＵＴＯＮＯＭＯＵＳ ＤＲＩＶ
ＩＮＧ（自動運転のための３次元特徴の予測）」と題する米国特許出願第１６／２６５７
２０号の継続出願であり、その優先権を主張し、その開示内容全体が参照により本明細書
に組み込まれる。
【発明の概要】
【発明が解決しようとする課題】
【0002】
自動運転などの用途に使用される深層学習システムは、機械学習モデルを訓練すること
によって開発される。典型的には、深層学習システムの性能は、モデルを訓練するために
使用される訓練セットの品質によって少なくとも部分的に制限される。多くの場合、訓練
データの収集、キュレーション、およびアノテーションには、多大なリソースが投資され
る。従来、訓練データセットをキュレーションするための努力の多くは、潜在的な訓練デ
ータを検討し、データに関連する特徴を適切にラベル付けすることによって手動で行われ
る。正確なラベルを有する訓練セットを作成するのに必要な労力は、顕著であり得、多く
の場合面倒である。さらに、機械学習モデルに改善が必要なデータを収集して正確にラベ
ル付けすることは困難であることが多い。したがって、正確なラベル付き特徴を有する訓
練データを生成するためのプロセスを改善する必要がある。
によって開発される。典型的には、深層学習システムの性能は、モデルを訓練するために
使用される訓練セットの品質によって少なくとも部分的に制限される。多くの場合、訓練
データの収集、キュレーション、およびアノテーションには、多大なリソースが投資され
る。従来、訓練データセットをキュレーションするための努力の多くは、潜在的な訓練デ
ータを検討し、データに関連する特徴を適切にラベル付けすることによって手動で行われ
る。正確なラベルを有する訓練セットを作成するのに必要な労力は、顕著であり得、多く
の場合面倒である。さらに、機械学習モデルに改善が必要なデータを収集して正確にラベ
ル付けすることは困難であることが多い。したがって、正確なラベル付き特徴を有する訓
練データを生成するためのプロセスを改善する必要がある。
【図面の簡単な説明】
【0003】
本発明の様々な実施形態は、以下の詳細な説明および添付の図面に開示される。
【0004】
【図1】自動運転のための深層学習システムの一実施形態を示すブロック図である。
【0005】
【図2】自動運転のための機械学習モデルを訓練および適用するプロセスの一実施形態を示す流れ図である。
【0006】
【図3】時系列の要素を使用して訓練データを作成するプロセスの一実施形態を示す流れ図である。
【0007】
【図4】自動運転のための機械学習モデルを訓練および適用するプロセスの一実施形態を示す流れ図である。
【0008】
【図5】車両センサから取り込まれた画像の一例を示す図である。
【0009】
【図6】レーンラインの予測された３次元軌跡を有する車両センサから捕捉された画像の一例を示す図である。
【発明を実施するための形態】
【0010】
本発明は、プロセス、装置、システム、物質の組成物、コンピュータ可読記憶媒体上に
具現化されたコンピュータプログラム製品、および／またはプロセッサ、例えばプロセッ
サに結合されたメモリに記憶された命令および／またはメモリによって提供された命令を
実行するように構成されたプロセッサ、を含むさまざまな方法で実装され得る。本明細書
では、これらの実装形態、または本発明が取り得る任意の他の形態を、技術と呼ぶことが
できる。一般に、開示されたプロセスのステップの順序は、本発明の範囲内で変更するこ
とができる。特に明記しない限り、タスクを実行するように構成されるものとして説明さ
れるプロセッサまたはメモリなどの構成要素は、所与の時間にタスクを実行するように一
時的に構成される一般的な構成要素、またはタスクを実行するように製造される特定の構
成要素として実装されてもよい。本明細書で使用される場合、「プロセッサ」という用語
は、コンピュータプログラム命令などのデータを処理するように構成された１つまたは複
数のデバイス、回路、および／または処理コアを指す。
具現化されたコンピュータプログラム製品、および／またはプロセッサ、例えばプロセッ
サに結合されたメモリに記憶された命令および／またはメモリによって提供された命令を
実行するように構成されたプロセッサ、を含むさまざまな方法で実装され得る。本明細書
では、これらの実装形態、または本発明が取り得る任意の他の形態を、技術と呼ぶことが
できる。一般に、開示されたプロセスのステップの順序は、本発明の範囲内で変更するこ
とができる。特に明記しない限り、タスクを実行するように構成されるものとして説明さ
れるプロセッサまたはメモリなどの構成要素は、所与の時間にタスクを実行するように一
時的に構成される一般的な構成要素、またはタスクを実行するように製造される特定の構
成要素として実装されてもよい。本明細書で使用される場合、「プロセッサ」という用語
は、コンピュータプログラム命令などのデータを処理するように構成された１つまたは複
数のデバイス、回路、および／または処理コアを指す。
【0011】
本発明の１つまたは複数の実施形態の詳細な説明を、本発明の原理を示す添付の図面と
共に以下に提供する。本発明は、そのような実施形態に関連して説明されるが、本発明は
いかなる実施形態にも限定されない。本発明の範囲は特許請求の範囲によってのみ限定さ
れ、本発明は多数の代替形態、変形形態および均等物を包含する。本発明の完全な理解を
提供するために、多数の具体的な詳細が以下の説明に記載される。これらの詳細は、例示
の目的で提供されており、本発明は、これらの具体的な詳細の一部または全部なしで特許
請求の範囲に従って実施することができる。明確にするために、本発明に関連する技術分
野で知られている技術資料は、本発明が不必要に不明瞭にならないように詳細には説明さ
れていない。
共に以下に提供する。本発明は、そのような実施形態に関連して説明されるが、本発明は
いかなる実施形態にも限定されない。本発明の範囲は特許請求の範囲によってのみ限定さ
れ、本発明は多数の代替形態、変形形態および均等物を包含する。本発明の完全な理解を
提供するために、多数の具体的な詳細が以下の説明に記載される。これらの詳細は、例示
の目的で提供されており、本発明は、これらの具体的な詳細の一部または全部なしで特許
請求の範囲に従って実施することができる。明確にするために、本発明に関連する技術分
野で知られている技術資料は、本発明が不必要に不明瞭にならないように詳細には説明さ
れていない。
【0012】
高精度な機械学習結果を生成するための機械学習訓練技術が開示される。車両の環境お
よび車両動作パラメータを捕捉するために車両上のセンサによって捕捉されたデータを使
用して、訓練データセットが作成される。例えば、車両に取り付けられたセンサは、車両
が走行している道路および周囲環境の画像データなどのデータを捕捉する。センサデータ
は、車両レーンライン、車両レーン、他の車両トラフィック、障害物、交通制御標識など
を捕捉することができる。オドメトリ（ｏｄｏｍｅｔｒｙ）および他の同様のセンサは、
車両の速度、操舵、向き、方向の変化、位置の変化、高度の変化、速度の変化などの車両
動作パラメータを捕捉する。捕捉されたデータセットは、訓練データセットを作成するた
めに訓練サーバに送信される。訓練データセットは、高精度の機械学習結果を生成する機
械学習モデルを訓練するために使用される。いくつかの実施形態では、時系列の捕捉デー
タが、訓練データを生成するために使用される。例えば、グラウンドトゥルース（ｇｒｏ
ｕｎｄ ｔｒｕｔｈ）は、時系列要素のグループに基づいて決定され、グループからの単
一の要素に関連付けられる。一例として、３０秒などの期間の一連の画像を使用して、車
両が走行する期間にわたる車両レーンラインの実際の経路を決定する。車両レーンライン
は、その期間にわたって車両レーンの最も正確な画像を使用することによって決定される
。レーンラインの異なる部分（または位置）は、時系列の異なる画像データから識別する
ことができる。車両がレーンラインに沿ってレーンを走行するにつれて、レーンラインの
異なる部分についてより正確なデータが捕捉される。いくつかの例では、レーンの閉塞部
分は、車両が例えば隠れたカーブに沿って、または丘の頂上を越えて走行するときに現れ
る。時系列の各画像からのレーンラインの最も正確な部分は、画像データのグループ全体
にわたってレーンラインを識別するために使用され得る。遠方のレーンラインの画像デー
タは、通常、車両付近のレーンラインの画像データよりも詳細度が低い。車両がレーンに
沿って走行するときの時系列の画像データを捕捉することにより、対応するレーンライン
の全ての部分の正確な画像データおよび対応するオドメトリデータが収集される。
よび車両動作パラメータを捕捉するために車両上のセンサによって捕捉されたデータを使
用して、訓練データセットが作成される。例えば、車両に取り付けられたセンサは、車両
が走行している道路および周囲環境の画像データなどのデータを捕捉する。センサデータ
は、車両レーンライン、車両レーン、他の車両トラフィック、障害物、交通制御標識など
を捕捉することができる。オドメトリ（ｏｄｏｍｅｔｒｙ）および他の同様のセンサは、
車両の速度、操舵、向き、方向の変化、位置の変化、高度の変化、速度の変化などの車両
動作パラメータを捕捉する。捕捉されたデータセットは、訓練データセットを作成するた
めに訓練サーバに送信される。訓練データセットは、高精度の機械学習結果を生成する機
械学習モデルを訓練するために使用される。いくつかの実施形態では、時系列の捕捉デー
タが、訓練データを生成するために使用される。例えば、グラウンドトゥルース（ｇｒｏ
ｕｎｄ ｔｒｕｔｈ）は、時系列要素のグループに基づいて決定され、グループからの単
一の要素に関連付けられる。一例として、３０秒などの期間の一連の画像を使用して、車
両が走行する期間にわたる車両レーンラインの実際の経路を決定する。車両レーンライン
は、その期間にわたって車両レーンの最も正確な画像を使用することによって決定される
。レーンラインの異なる部分（または位置）は、時系列の異なる画像データから識別する
ことができる。車両がレーンラインに沿ってレーンを走行するにつれて、レーンラインの
異なる部分についてより正確なデータが捕捉される。いくつかの例では、レーンの閉塞部
分は、車両が例えば隠れたカーブに沿って、または丘の頂上を越えて走行するときに現れ
る。時系列の各画像からのレーンラインの最も正確な部分は、画像データのグループ全体
にわたってレーンラインを識別するために使用され得る。遠方のレーンラインの画像デー
タは、通常、車両付近のレーンラインの画像データよりも詳細度が低い。車両がレーンに
沿って走行するときの時系列の画像データを捕捉することにより、対応するレーンライン
の全ての部分の正確な画像データおよび対応するオドメトリデータが収集される。
【0013】
いくつかの実施形態では、レーンラインなどの特徴の３次元表現が、グラウンドトゥル
ースに対応する時系列要素のグループから作成される。次いで、このグラウンドトゥルー
スは、捕捉された画像データのグループの単一の画像フレームなどの時系列要素のサブセ
ットに関連付けられる。例えば、画像グループの第１の画像は、３次元空間で表現される
レーンラインのグラウンドトゥルースに関連付けられる。グラウンドトゥルースは画像の
グループに基づいて決定されるが、選択された第１のフレームおよびグラウンドトゥルー
スは訓練データを作成するために使用される。一例として、単一の画像のみを使用して車
両レーンの３次元表現を予測するための訓練データが作成される。いくつかの実施形態で
は、時系列要素のグループの任意の要素または要素グループが、グラウンドトゥルースに
関連付けられ、訓練データを作成するために使用される。例えば、グラウンドトゥルース
は、訓練データを作成するための動画シーケンス全体に適用され得る。別の例として、時
系列要素のグループの中間要素または最後の要素が、グラウンドトゥルースに関連付けら
れ、訓練データを作成するために使用される。
ースに対応する時系列要素のグループから作成される。次いで、このグラウンドトゥルー
スは、捕捉された画像データのグループの単一の画像フレームなどの時系列要素のサブセ
ットに関連付けられる。例えば、画像グループの第１の画像は、３次元空間で表現される
レーンラインのグラウンドトゥルースに関連付けられる。グラウンドトゥルースは画像の
グループに基づいて決定されるが、選択された第１のフレームおよびグラウンドトゥルー
スは訓練データを作成するために使用される。一例として、単一の画像のみを使用して車
両レーンの３次元表現を予測するための訓練データが作成される。いくつかの実施形態で
は、時系列要素のグループの任意の要素または要素グループが、グラウンドトゥルースに
関連付けられ、訓練データを作成するために使用される。例えば、グラウンドトゥルース
は、訓練データを作成するための動画シーケンス全体に適用され得る。別の例として、時
系列要素のグループの中間要素または最後の要素が、グラウンドトゥルースに関連付けら
れ、訓練データを作成するために使用される。
【0014】
様々な実施形態では、選択された画像およびグラウンドトゥルースは、レーンライン、
隣接車両を含む車両の経路予測、物体の奥行き距離、交通標識などの様々な特徴に適用す
ることができる。例えば、隣接レーン内の車両の一連の画像は、その車両の経路を予測す
るために使用される。隣接車両によって撮影された時系列の画像および実際の経路を使用
して、撮影されたグループおよび実際の経路の単一の画像を、車両の経路を予測するため
の訓練データとして使用することができる。この情報を使用して、隣接車両が自律型車両
の経路に割り込むかどうかを予測することもできる。例えば、経路予測は、隣接車両が自
律型車両の前で合流するかどうかを予測することができる。自律型車両は、衝突の可能性
を最小限に抑えるように制御することができる。例えば、自律型車両は、衝突を防ぐため
に減速し、衝突を防ぐために車両の速度および／または操舵を調整し、隣接車両および／
または自律型車両の乗員への警告を開始し、および／またはレーンを変更することなどが
できる。様々な実施形態では、車両経路予測を含む経路予測を正確に推論する能力は、自
律型車両の安全性を大幅に改善する。
隣接車両を含む車両の経路予測、物体の奥行き距離、交通標識などの様々な特徴に適用す
ることができる。例えば、隣接レーン内の車両の一連の画像は、その車両の経路を予測す
るために使用される。隣接車両によって撮影された時系列の画像および実際の経路を使用
して、撮影されたグループおよび実際の経路の単一の画像を、車両の経路を予測するため
の訓練データとして使用することができる。この情報を使用して、隣接車両が自律型車両
の経路に割り込むかどうかを予測することもできる。例えば、経路予測は、隣接車両が自
律型車両の前で合流するかどうかを予測することができる。自律型車両は、衝突の可能性
を最小限に抑えるように制御することができる。例えば、自律型車両は、衝突を防ぐため
に減速し、衝突を防ぐために車両の速度および／または操舵を調整し、隣接車両および／
または自律型車両の乗員への警告を開始し、および／またはレーンを変更することなどが
できる。様々な実施形態では、車両経路予測を含む経路予測を正確に推論する能力は、自
律型車両の安全性を大幅に改善する。
【0015】
いくつかの実施形態では、訓練された（訓練済の）機械学習モデルは、レーンラインを
含む自動運転のための１つまたは複数の特徴の３次元表現を予測するために使用される。
例えば、レーンラインの画像をセグメント化することによって画像データから２次元のレ
ーンラインを識別する代わりに、時系列の要素および時系列に対応するオドメトリデータ
を使用して３次元表現が生成される。３次元表現は、レーンライン検出ならびに対応する
レーンおよび識別された運転可能経路の検出の精度を大幅に改善する高度の変化を含む。
いくつかの実施形態では、レーンラインは、１つまたは複数のスプラインまたは別のパラ
メータ化された表現形式を使用して表現される。レーンラインを表現するために区分多項
式を使用すると、３次元物体を評価するために必要な計算リソースが大幅に削減される。
この計算リソースの削減は、表現の精度を著しく犠牲にすることのない、処理速度および
効率の改善に対応する。様々な実施形態では、特にレーンラインの曲線を含むレーンライ
ンは、区分多項式、３次元点集合、または別の適切な表現を使用して表現することができ
る。例えば、区分多項式は、センサデータを使用して経時的に捕捉された要素のグループ
から識別されたレーンラインの高精度のセクションを使用して実際のレーンラインを補間
する。
含む自動運転のための１つまたは複数の特徴の３次元表現を予測するために使用される。
例えば、レーンラインの画像をセグメント化することによって画像データから２次元のレ
ーンラインを識別する代わりに、時系列の要素および時系列に対応するオドメトリデータ
を使用して３次元表現が生成される。３次元表現は、レーンライン検出ならびに対応する
レーンおよび識別された運転可能経路の検出の精度を大幅に改善する高度の変化を含む。
いくつかの実施形態では、レーンラインは、１つまたは複数のスプラインまたは別のパラ
メータ化された表現形式を使用して表現される。レーンラインを表現するために区分多項
式を使用すると、３次元物体を評価するために必要な計算リソースが大幅に削減される。
この計算リソースの削減は、表現の精度を著しく犠牲にすることのない、処理速度および
効率の改善に対応する。様々な実施形態では、特にレーンラインの曲線を含むレーンライ
ンは、区分多項式、３次元点集合、または別の適切な表現を使用して表現することができ
る。例えば、区分多項式は、センサデータを使用して経時的に捕捉された要素のグループ
から識別されたレーンラインの高精度のセクションを使用して実際のレーンラインを補間
する。
【0016】
いくつかの実施形態では、センサデータが受信される。センサデータは、画像（動画お
よび／または静止画像など）、レーダ、オーディオ、ＬｉＤＡＲ、慣性、オドメトリ、位
置、および／または他の形態のセンサデータを含むことができる。センサデータは、時系
列要素のグループを含む。例えば、時系列要素のグループは、ある期間にわたって車両の
カメラセンサから捕捉された画像のグループを含むことができる。いくつかの実施形態で
は、訓練データセットは、時系列要素のグループ内の少なくとも選択された時系列要素に
ついて、時系列要素のグループ内の複数の時系列要素に基づいて対応するグラウンドトゥ
ルースを決定することなどによって決定される。例えば、グラウンドトゥルースは、グル
ープ内の前および／または後の時系列要素を含む時系列要素のグループの各要素の最も関
連する部分を調べることによって決定される。いくつかのシナリオでは、前および／また
は後の時系列要素のみが、曲線の周りで最初に消失し、時系列の後の要素でのみ現れる車
両レーンラインなど、前の時系列要素には存在しないデータを含む。決定されたグラウン
ドトゥルースは、車両レーンラインの３次元表現、車両の予測経路、または別の同様の予
測であり得る。時系列要素のグループの要素が選択され、グラウンドトゥルースと関連付
けられる。選択された要素およびグラウンドトゥルースは訓練データセットの一部である
。いくつかの実施形態では、プロセッサが、訓練データセットを使用して機械学習モデル
を訓練するために使用される。例えば、訓練データセットは、車両の自動運転または運転
者支援動作に使用される特徴を推論するための機械学習モデルを訓練するために使用され
る。訓練された機械学習モデルを使用して、ニューラルネットワークが、車両レーン、運
転可能空間、物体（例えば、歩行者、静止車両、移動車両など）、天候（例えば、雨、雹
、霧など）、交通制御物体（例えば、信号機、交通標識、道路標識など）、交通パターン
などの自動運転に関連する特徴を推論することができる。
よび／または静止画像など）、レーダ、オーディオ、ＬｉＤＡＲ、慣性、オドメトリ、位
置、および／または他の形態のセンサデータを含むことができる。センサデータは、時系
列要素のグループを含む。例えば、時系列要素のグループは、ある期間にわたって車両の
カメラセンサから捕捉された画像のグループを含むことができる。いくつかの実施形態で
は、訓練データセットは、時系列要素のグループ内の少なくとも選択された時系列要素に
ついて、時系列要素のグループ内の複数の時系列要素に基づいて対応するグラウンドトゥ
ルースを決定することなどによって決定される。例えば、グラウンドトゥルースは、グル
ープ内の前および／または後の時系列要素を含む時系列要素のグループの各要素の最も関
連する部分を調べることによって決定される。いくつかのシナリオでは、前および／また
は後の時系列要素のみが、曲線の周りで最初に消失し、時系列の後の要素でのみ現れる車
両レーンラインなど、前の時系列要素には存在しないデータを含む。決定されたグラウン
ドトゥルースは、車両レーンラインの３次元表現、車両の予測経路、または別の同様の予
測であり得る。時系列要素のグループの要素が選択され、グラウンドトゥルースと関連付
けられる。選択された要素およびグラウンドトゥルースは訓練データセットの一部である
。いくつかの実施形態では、プロセッサが、訓練データセットを使用して機械学習モデル
を訓練するために使用される。例えば、訓練データセットは、車両の自動運転または運転
者支援動作に使用される特徴を推論するための機械学習モデルを訓練するために使用され
る。訓練された機械学習モデルを使用して、ニューラルネットワークが、車両レーン、運
転可能空間、物体（例えば、歩行者、静止車両、移動車両など）、天候（例えば、雨、雹
、霧など）、交通制御物体（例えば、信号機、交通標識、道路標識など）、交通パターン
などの自動運転に関連する特徴を推論することができる。
【0017】
いくつかの実施形態では、システムは、プロセッサと、プロセッサに結合されたメモリ
とを備える。プロセッサは、車両のカメラによって捕捉された画像に基づく画像データを
受信するように構成される。例えば、車両に取り付けられたカメラセンサは、車両の環境
の画像を捕捉する。カメラは、前向きカメラ、ピラーカメラ、または別の適切に配置され
たカメラであってもよい。カメラから捕捉された画像データは、車両上のＧＰＵまたはＡ
Ｉプロセッサなどのプロセッサを使用して処理される。いくつかの実施形態では、画像デ
ータは、車両レーンの３次元軌跡を予測するように訓練された訓練済機械学習モデルへの
入力の基礎として使用される。例えば、画像データは、車両レーンを予測するように訓練
されたニューラルネットワークへの入力として使用される。機械学習モデルは、検出され
たレーンの３次元軌跡を推論する。画像を２次元画像のレーンおよび非レーンセグメント
にセグメント化する代わりに、３次元表現が推論される。いくつかの実施形態では、３次
元表現は、スプライン、パラメトリック曲線、または３次元で曲線を記述することができ
る別の表現である。いくつかの実施形態では、車両レーンの３次元軌跡は、車両を自動的
に制御する際に提供される。例えば、３次元軌跡は、レーンラインおよび対応する運転可
能空間を決定するために使用される。
とを備える。プロセッサは、車両のカメラによって捕捉された画像に基づく画像データを
受信するように構成される。例えば、車両に取り付けられたカメラセンサは、車両の環境
の画像を捕捉する。カメラは、前向きカメラ、ピラーカメラ、または別の適切に配置され
たカメラであってもよい。カメラから捕捉された画像データは、車両上のＧＰＵまたはＡ
Ｉプロセッサなどのプロセッサを使用して処理される。いくつかの実施形態では、画像デ
ータは、車両レーンの３次元軌跡を予測するように訓練された訓練済機械学習モデルへの
入力の基礎として使用される。例えば、画像データは、車両レーンを予測するように訓練
されたニューラルネットワークへの入力として使用される。機械学習モデルは、検出され
たレーンの３次元軌跡を推論する。画像を２次元画像のレーンおよび非レーンセグメント
にセグメント化する代わりに、３次元表現が推論される。いくつかの実施形態では、３次
元表現は、スプライン、パラメトリック曲線、または３次元で曲線を記述することができ
る別の表現である。いくつかの実施形態では、車両レーンの３次元軌跡は、車両を自動的
に制御する際に提供される。例えば、３次元軌跡は、レーンラインおよび対応する運転可
能空間を決定するために使用される。
【0018】
図１は、自動運転のための深層学習システムの一実施形態を示すブロック図である。深
層学習システムは、車両の自動運転および／または運転者支援動作のために、ならびに自
動運転のための機械学習モデルを訓練するためのデータを収集および処理するために、一
緒に使用することができる様々な構成要素を含む。様々な実施形態では、深層学習システ
ムは車両に設置される。車両からのデータは、車両または他の同様の車両の自動運転機能
を訓練および改善するために使用することができる。
層学習システムは、車両の自動運転および／または運転者支援動作のために、ならびに自
動運転のための機械学習モデルを訓練するためのデータを収集および処理するために、一
緒に使用することができる様々な構成要素を含む。様々な実施形態では、深層学習システ
ムは車両に設置される。車両からのデータは、車両または他の同様の車両の自動運転機能
を訓練および改善するために使用することができる。
【0019】
図示の例では、深層学習システム１００は、センサ１０１、画像プリプロセッサ１０３
、深層学習ネットワーク１０５、人工知能（ＡＩ）プロセッサ１０７、車両制御モジュー
ル１０９、およびネットワークインターフェース１１１を含む深層学習ネットワークであ
る。様々な実施形態において、異なる構成要素は通信可能に接続される。例えば、センサ
１０１からのセンサデータは、画像プリプロセッサ１０３に供給される。画像プリプロセ
ッサ１０３の処理されたセンサデータは、ＡＩプロセッサ１０７上で動作する深層学習ネ
ットワーク１０５に供給される。ＡＩプロセッサ１０７上で動作する深層学習ネットワー
ク１０５の出力は、車両制御モジュール１０９に供給される。様々な実施形態では、車両
制御モジュール１０９は、車両の速度、制動、および／または操舵などの車両の動作に接
続され、車両の動作を制御する。様々な実施形態では、センサデータおよび／または機械
学習結果は、ネットワークインターフェース１１１を介してリモートサーバに送信するこ
とができる。例えば、車両の性能、快適性、および／または安全性を改善するための訓練
データを収集するために、センサデータは、ネットワークインターフェース１１１を介し
てリモートサーバに送信することができる。様々な実施形態では、ネットワークインター
フェース１１１は、他の理由の中でもとりわけ、リモートサーバと通信し、電話をかけ、
テキストメッセージを送信および／または受信し、車両の動作に基づいてセンサデータを
送信するために使用される。いくつかの実施形態では、深層学習システム１００は、必要
に応じて追加のまたはより少ない構成要素を含むことができる。例えば、いくつかの実施
形態では、画像プリプロセッサ１０３は任意選択の構成要素である。別の例として、いく
つかの実施形態では、出力が車両制御モジュール１０９に提供される前に、深層学習ネッ
トワーク１０５の出力に対して後処理を実行するために後処理構成要素（図示せず）が使
用される。
、深層学習ネットワーク１０５、人工知能（ＡＩ）プロセッサ１０７、車両制御モジュー
ル１０９、およびネットワークインターフェース１１１を含む深層学習ネットワークであ
る。様々な実施形態において、異なる構成要素は通信可能に接続される。例えば、センサ
１０１からのセンサデータは、画像プリプロセッサ１０３に供給される。画像プリプロセ
ッサ１０３の処理されたセンサデータは、ＡＩプロセッサ１０７上で動作する深層学習ネ
ットワーク１０５に供給される。ＡＩプロセッサ１０７上で動作する深層学習ネットワー
ク１０５の出力は、車両制御モジュール１０９に供給される。様々な実施形態では、車両
制御モジュール１０９は、車両の速度、制動、および／または操舵などの車両の動作に接
続され、車両の動作を制御する。様々な実施形態では、センサデータおよび／または機械
学習結果は、ネットワークインターフェース１１１を介してリモートサーバに送信するこ
とができる。例えば、車両の性能、快適性、および／または安全性を改善するための訓練
データを収集するために、センサデータは、ネットワークインターフェース１１１を介し
てリモートサーバに送信することができる。様々な実施形態では、ネットワークインター
フェース１１１は、他の理由の中でもとりわけ、リモートサーバと通信し、電話をかけ、
テキストメッセージを送信および／または受信し、車両の動作に基づいてセンサデータを
送信するために使用される。いくつかの実施形態では、深層学習システム１００は、必要
に応じて追加のまたはより少ない構成要素を含むことができる。例えば、いくつかの実施
形態では、画像プリプロセッサ１０３は任意選択の構成要素である。別の例として、いく
つかの実施形態では、出力が車両制御モジュール１０９に提供される前に、深層学習ネッ
トワーク１０５の出力に対して後処理を実行するために後処理構成要素（図示せず）が使
用される。
【0020】
いくつかの実施形態では、センサ１０１は、１つまたは複数のセンサを含む。様々な実
施形態では、センサ１０１は、車両の異なる位置で車両に取り付けられ、および／または
１つまたは複数の異なる方向に向けられてもよい。例えば、センサ１０１は、車両の前方
、側方、後方、および／または屋根などに、前向き、後ろ向き、横向きなどの方向で取り
付けられてもよい。いくつかの実施形態では、センサ１０１は、高ダイナミックレンジカ
メラなどの画像センサであってもよい。いくつかの実施形態では、センサ１０１は非視覚
センサを含む。いくつかの実施形態では、センサ１０１は、とりわけ、レーダ、オーディ
オ、ＬｉＤＡＲ、慣性、オドメトリ、位置、および／または超音波センサを含む。いくつ
かの実施形態では、センサ１０１は、車両制御モジュール１０９を有する車両に取り付け
られない。例えば、センサ１０１は、隣接する車両に取り付けられてもよく、および／ま
たは道路もしくは環境に取り付けられてもよく、センサデータを捕捉するための深層学習
システムの一部として含まれる。いくつかの実施形態では、センサ１０１は、車両が走行
している路面を捕捉する１つまたは複数のカメラを含む。例えば、１つまたは複数の前向
きおよび／またはピラーカメラが、車両が走行しているレーンのレーンマーキングを捕捉
する。別の例として、カメラは、車両が走行しているレーンに割り込もうとしている車両
を含む隣接車両を捕捉する。追加のセンサは、オドメトリ、位置、および／または車両軌
跡に関する情報を含む車両制御情報を捕捉する。センサ１０１は、静止画像および／また
は動画を捕捉することができる両方の画像センサを含むことができる。データは、ある期
間にわたって捕捉されたデータのシーケンスなど、ある期間にわたって捕捉され得る。例
えば、レーンマーキングの画像は、１５秒の期間または別の適切な期間にわたって車両オ
ドメトリデータと共に捕捉されてもよい。いくつかの実施形態では、センサ１０１は、車
両の位置および／または位置の変化を判定するための全地球測位システム（ＧＰＳ）セン
サなどの位置センサを含む。
施形態では、センサ１０１は、車両の異なる位置で車両に取り付けられ、および／または
１つまたは複数の異なる方向に向けられてもよい。例えば、センサ１０１は、車両の前方
、側方、後方、および／または屋根などに、前向き、後ろ向き、横向きなどの方向で取り
付けられてもよい。いくつかの実施形態では、センサ１０１は、高ダイナミックレンジカ
メラなどの画像センサであってもよい。いくつかの実施形態では、センサ１０１は非視覚
センサを含む。いくつかの実施形態では、センサ１０１は、とりわけ、レーダ、オーディ
オ、ＬｉＤＡＲ、慣性、オドメトリ、位置、および／または超音波センサを含む。いくつ
かの実施形態では、センサ１０１は、車両制御モジュール１０９を有する車両に取り付け
られない。例えば、センサ１０１は、隣接する車両に取り付けられてもよく、および／ま
たは道路もしくは環境に取り付けられてもよく、センサデータを捕捉するための深層学習
システムの一部として含まれる。いくつかの実施形態では、センサ１０１は、車両が走行
している路面を捕捉する１つまたは複数のカメラを含む。例えば、１つまたは複数の前向
きおよび／またはピラーカメラが、車両が走行しているレーンのレーンマーキングを捕捉
する。別の例として、カメラは、車両が走行しているレーンに割り込もうとしている車両
を含む隣接車両を捕捉する。追加のセンサは、オドメトリ、位置、および／または車両軌
跡に関する情報を含む車両制御情報を捕捉する。センサ１０１は、静止画像および／また
は動画を捕捉することができる両方の画像センサを含むことができる。データは、ある期
間にわたって捕捉されたデータのシーケンスなど、ある期間にわたって捕捉され得る。例
えば、レーンマーキングの画像は、１５秒の期間または別の適切な期間にわたって車両オ
ドメトリデータと共に捕捉されてもよい。いくつかの実施形態では、センサ１０１は、車
両の位置および／または位置の変化を判定するための全地球測位システム（ＧＰＳ）セン
サなどの位置センサを含む。
【0021】
いくつかの実施形態では、画像プリプロセッサ１０３は、センサ１０１のセンサデータ
を前処理するために使用される。例えば、画像プリプロセッサ１０３を使用して、センサ
データを前処理し、センサデータを１つまたは複数の構成要素に分割し、および／または
１つまたは複数の構成要素を後処理することができる。いくつかの実施形態では、画像プ
リプロセッサ１０３は、グラフィックス処理装置（ＧＰＵ）、中央処理装置（ＣＰＵ）、
画像信号プロセッサ、または専用画像プロセッサである。様々な実施形態において、画像
プリプロセッサ１０３は、高ダイナミックレンジデータを処理するトーンマッパプロセッ
サである。いくつかの実施形態では、画像プリプロセッサ１０３は、人工知能（ＡＩ）プ
ロセッサ１０７の一部として実装される。例えば、画像プリプロセッサ１０３は、ＡＩプ
ロセッサ１０７の構成要素であってもよい。いくつかの実施形態では、画像プリプロセッ
サ１０３を使用して、画像を正規化するか、または画像を変換することができる。例えば
、魚眼レンズで捕捉された画像はゆがんでいることがあり、画像プリプロセッサ１０３を
使用して画像を変換し、ゆがみを除去または修正することができる。いくつかの実施形態
では、ノイズ、歪み、および／またはぼやけは、前処理ステップ中に除去または低減され
る。様々な実施形態において、画像は、機械学習分析の結果を改善するために調整または
正規化される。例えば、画像のホワイトバランスは、とりわけ、昼光、晴れ、曇り、夕暮
れ、日の出、日没、および夜間条件などの異なる照明動作条件を考慮するように調整され
る。
を前処理するために使用される。例えば、画像プリプロセッサ１０３を使用して、センサ
データを前処理し、センサデータを１つまたは複数の構成要素に分割し、および／または
１つまたは複数の構成要素を後処理することができる。いくつかの実施形態では、画像プ
リプロセッサ１０３は、グラフィックス処理装置（ＧＰＵ）、中央処理装置（ＣＰＵ）、
画像信号プロセッサ、または専用画像プロセッサである。様々な実施形態において、画像
プリプロセッサ１０３は、高ダイナミックレンジデータを処理するトーンマッパプロセッ
サである。いくつかの実施形態では、画像プリプロセッサ１０３は、人工知能（ＡＩ）プ
ロセッサ１０７の一部として実装される。例えば、画像プリプロセッサ１０３は、ＡＩプ
ロセッサ１０７の構成要素であってもよい。いくつかの実施形態では、画像プリプロセッ
サ１０３を使用して、画像を正規化するか、または画像を変換することができる。例えば
、魚眼レンズで捕捉された画像はゆがんでいることがあり、画像プリプロセッサ１０３を
使用して画像を変換し、ゆがみを除去または修正することができる。いくつかの実施形態
では、ノイズ、歪み、および／またはぼやけは、前処理ステップ中に除去または低減され
る。様々な実施形態において、画像は、機械学習分析の結果を改善するために調整または
正規化される。例えば、画像のホワイトバランスは、とりわけ、昼光、晴れ、曇り、夕暮
れ、日の出、日没、および夜間条件などの異なる照明動作条件を考慮するように調整され
る。
【0022】
いくつかの実施形態では、深層学習ネットワーク１０５は、レーンマーカ、レーン、運
転可能空間、障害物、および／または潜在的な車両経路などを決定するために運転環境を
分析することを含めて、車両制御パラメータを決定するために使用される深層学習ネット
ワークである。例えば、深層学習ネットワーク１０５は、センサデータなどの入力で訓練
され、その出力が車両制御モジュール１０９に提供される畳込みニューラルネットワーク
（ＣＮＮ）などの人工ニューラルネットワークであってもよい。一例として、出力は、レ
ーンマーカの少なくとも３次元表現を含むことができる。別の例として、出力は、少なく
とも車両のレーンに合流する可能性のある潜在的な車両を含むことができる。いくつかの
実施形態では、深層学習ネットワーク１０５は、少なくともセンサデータを入力として受
信する。追加の入力は、車両の周囲の環境および／または車両の動作特性などの車両仕様
を記述するシーンデータを含むことができる。シーンデータは、降雨、濡れた道路、降雪
、ぬかるみ、高密度の交通、高速道路、都市、スクールゾーンなどの車両の周囲の環境を
記述するシーンタグを含むことができる。いくつかの実施形態では、深層学習ネットワー
ク１０５の出力は、車両の車両レーンの３次元軌跡である。いくつかの実施形態では、深
層学習ネットワーク１０５の出力は、潜在的な車両割込みである。例えば、深層学習ネッ
トワーク１０５は、車両の前方のレーンに進入する可能性が高い隣接車両を識別する。
転可能空間、障害物、および／または潜在的な車両経路などを決定するために運転環境を
分析することを含めて、車両制御パラメータを決定するために使用される深層学習ネット
ワークである。例えば、深層学習ネットワーク１０５は、センサデータなどの入力で訓練
され、その出力が車両制御モジュール１０９に提供される畳込みニューラルネットワーク
（ＣＮＮ）などの人工ニューラルネットワークであってもよい。一例として、出力は、レ
ーンマーカの少なくとも３次元表現を含むことができる。別の例として、出力は、少なく
とも車両のレーンに合流する可能性のある潜在的な車両を含むことができる。いくつかの
実施形態では、深層学習ネットワーク１０５は、少なくともセンサデータを入力として受
信する。追加の入力は、車両の周囲の環境および／または車両の動作特性などの車両仕様
を記述するシーンデータを含むことができる。シーンデータは、降雨、濡れた道路、降雪
、ぬかるみ、高密度の交通、高速道路、都市、スクールゾーンなどの車両の周囲の環境を
記述するシーンタグを含むことができる。いくつかの実施形態では、深層学習ネットワー
ク１０５の出力は、車両の車両レーンの３次元軌跡である。いくつかの実施形態では、深
層学習ネットワーク１０５の出力は、潜在的な車両割込みである。例えば、深層学習ネッ
トワーク１０５は、車両の前方のレーンに進入する可能性が高い隣接車両を識別する。
【0023】
いくつかの実施形態では、人工知能（ＡＩ）プロセッサ１０７は、深層学習ネットワー
ク１０５を実行するためのハードウェアプロセッサである。いくつかの実施形態では、Ａ
Ｉプロセッサ１０７は、センサデータに対して畳込みニューラルネットワーク（ＣＮＮ）
を使用して推論を実行するための専用ＡＩプロセッサである。ＡＩプロセッサ１０７は、
センサデータのビット深度に対して最適化することができる。いくつかの実施形態では、
ＡＩプロセッサ１０７は、とりわけ、畳込み、内積、ベクトル、および／または行列演算
を含むニューラルネットワーク演算などの深層学習演算用に最適化される。いくつかの実
施形態では、ＡＩプロセッサ１０７は、グラフィックス処理装置（ＧＰＵ）を使用して実
装される。様々な実施形態では、ＡＩプロセッサ１０７は、実行されると、ＡＩプロセッ
サに、受信した入力センサデータに対して深層学習分析を実行させ、自動運転に使用され
る機械学習結果を決定させる命令をＡＩプロセッサに提供するように構成されたメモリに
結合される。いくつかの実施形態では、ＡＩプロセッサ１０７は、データを訓練データと
して利用可能にする準備としてセンサデータを処理するために使用される。
ク１０５を実行するためのハードウェアプロセッサである。いくつかの実施形態では、Ａ
Ｉプロセッサ１０７は、センサデータに対して畳込みニューラルネットワーク（ＣＮＮ）
を使用して推論を実行するための専用ＡＩプロセッサである。ＡＩプロセッサ１０７は、
センサデータのビット深度に対して最適化することができる。いくつかの実施形態では、
ＡＩプロセッサ１０７は、とりわけ、畳込み、内積、ベクトル、および／または行列演算
を含むニューラルネットワーク演算などの深層学習演算用に最適化される。いくつかの実
施形態では、ＡＩプロセッサ１０７は、グラフィックス処理装置（ＧＰＵ）を使用して実
装される。様々な実施形態では、ＡＩプロセッサ１０７は、実行されると、ＡＩプロセッ
サに、受信した入力センサデータに対して深層学習分析を実行させ、自動運転に使用され
る機械学習結果を決定させる命令をＡＩプロセッサに提供するように構成されたメモリに
結合される。いくつかの実施形態では、ＡＩプロセッサ１０７は、データを訓練データと
して利用可能にする準備としてセンサデータを処理するために使用される。
【0024】
いくつかの実施形態では、車両制御モジュール１０９は、人工知能（ＡＩ）プロセッサ
１０７の出力を処理し、出力を車両制御動作に変換するために利用される。いくつかの実
施形態では、車両制御モジュール１０９は、自動運転のために車両を制御するために利用
される。様々な実施形態において、車両制御モジュール１０９は、車両の速度、加速度、
操舵、制動などを調整することができる。例えば、いくつかの実施形態では、車両制御モ
ジュール１０９は、車両を制御して、レーン内の車両の位置を維持し、車両を別のレーン
に合流させ、車両の速度およびレーン配置を調整して合流車両などを考慮するために使用
される。
１０７の出力を処理し、出力を車両制御動作に変換するために利用される。いくつかの実
施形態では、車両制御モジュール１０９は、自動運転のために車両を制御するために利用
される。様々な実施形態において、車両制御モジュール１０９は、車両の速度、加速度、
操舵、制動などを調整することができる。例えば、いくつかの実施形態では、車両制御モ
ジュール１０９は、車両を制御して、レーン内の車両の位置を維持し、車両を別のレーン
に合流させ、車両の速度およびレーン配置を調整して合流車両などを考慮するために使用
される。
【0025】
いくつかの実施形態では、車両制御モジュール１０９は、ブレーキ灯、方向指示器、ヘ
ッドライトなどの車両照明を制御するために使用される。いくつかの実施形態では、車両
制御モジュール１０９は、車両のサウンドシステム、オーディオ警報の再生、マイクロフ
ォンの有効化、クラクションの有効化などの車両オーディオ状態を制御するために使用さ
れる。いくつかの実施形態では、車両制御モジュール１０９は、潜在的な衝突または意図
された目的地の接近などの運転イベントを運転者および／または乗客に通知するための警
告システムを含む通知システムを制御するために使用される。いくつかの実施形態では、
車両制御モジュール１０９は、車両のセンサ１０１などのセンサを調整するために使用さ
れる。例えば、車両制御モジュール１０９を使用して、向きの変更、出力解像度および／
またはフォーマットタイプの変更、捕捉レートの増減、捕捉されたダイナミックレンジの
調整、カメラの焦点の調整、センサの有効化および／または無効化など、１つまたは複数
のセンサのパラメータを変更することができる。いくつかの実施形態では、車両制御モジ
ュール１０９を使用して、フィルタの周波数範囲の変更、特徴および／またはエッジ検出
パラメータの調整、チャネルおよびビット深度の調整など、画像プリプロセッサ１０３の
パラメータを変更することができる。様々な実施形態では、車両制御モジュール１０９は
、車両の自動運転および／または運転者支援制御を実施するために使用される。いくつか
の実施形態では、車両制御モジュール１０９は、メモリと結合されたプロセッサを使用し
て実装される。いくつかの実施形態では、車両制御モジュール１０９は、特定用途向け集
積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、または他の適切な処理ハ
ードウェアを使用して実装される。
ッドライトなどの車両照明を制御するために使用される。いくつかの実施形態では、車両
制御モジュール１０９は、車両のサウンドシステム、オーディオ警報の再生、マイクロフ
ォンの有効化、クラクションの有効化などの車両オーディオ状態を制御するために使用さ
れる。いくつかの実施形態では、車両制御モジュール１０９は、潜在的な衝突または意図
された目的地の接近などの運転イベントを運転者および／または乗客に通知するための警
告システムを含む通知システムを制御するために使用される。いくつかの実施形態では、
車両制御モジュール１０９は、車両のセンサ１０１などのセンサを調整するために使用さ
れる。例えば、車両制御モジュール１０９を使用して、向きの変更、出力解像度および／
またはフォーマットタイプの変更、捕捉レートの増減、捕捉されたダイナミックレンジの
調整、カメラの焦点の調整、センサの有効化および／または無効化など、１つまたは複数
のセンサのパラメータを変更することができる。いくつかの実施形態では、車両制御モジ
ュール１０９を使用して、フィルタの周波数範囲の変更、特徴および／またはエッジ検出
パラメータの調整、チャネルおよびビット深度の調整など、画像プリプロセッサ１０３の
パラメータを変更することができる。様々な実施形態では、車両制御モジュール１０９は
、車両の自動運転および／または運転者支援制御を実施するために使用される。いくつか
の実施形態では、車両制御モジュール１０９は、メモリと結合されたプロセッサを使用し
て実装される。いくつかの実施形態では、車両制御モジュール１０９は、特定用途向け集
積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、または他の適切な処理ハ
ードウェアを使用して実装される。
【0026】
いくつかの実施形態では、ネットワークインターフェース１１１は、音声データを含む
データを送信および／または受信するための通信インターフェースである。様々な実施形
態では、ネットワークインターフェース１１１は、リモートサーバとインターフェース接
続し、音声通話の接続および発信を行い、テキストメッセージを送信および／または受信
し、センサデータを送信し、アップデートされた機械学習モデルを含む深層学習ネットワ
ークへのアップデートを受信し、気象条件および予報、交通状況などを含む環境条件を検
索するためのセルラまたは無線インターフェースを含む。例えば、ネットワークインター
フェース１１１は、センサ１０１、画像プリプロセッサ１０３、深層学習ネットワーク１
０５、ＡＩプロセッサ１０７、および／または車両制御モジュール１０９の命令および／
または動作パラメータのアップデートを受信するために使用され得る。深層学習ネットワ
ーク１０５の機械学習モデルは、ネットワークインターフェース１１１を使用してアップ
デートすることができる。別の例として、ネットワークインターフェース１１１を使用し
て、センサ１０１のファームウェアおよび／または画像処理パラメータなどの画像プリプ
ロセッサ１０３の動作パラメータをアップデートすることができる。さらに別の例として
、ネットワークインターフェース１１１を使用して、機械学習モデルを訓練するために潜
在的な訓練データをリモートサーバに送信することができる。
データを送信および／または受信するための通信インターフェースである。様々な実施形
態では、ネットワークインターフェース１１１は、リモートサーバとインターフェース接
続し、音声通話の接続および発信を行い、テキストメッセージを送信および／または受信
し、センサデータを送信し、アップデートされた機械学習モデルを含む深層学習ネットワ
ークへのアップデートを受信し、気象条件および予報、交通状況などを含む環境条件を検
索するためのセルラまたは無線インターフェースを含む。例えば、ネットワークインター
フェース１１１は、センサ１０１、画像プリプロセッサ１０３、深層学習ネットワーク１
０５、ＡＩプロセッサ１０７、および／または車両制御モジュール１０９の命令および／
または動作パラメータのアップデートを受信するために使用され得る。深層学習ネットワ
ーク１０５の機械学習モデルは、ネットワークインターフェース１１１を使用してアップ
デートすることができる。別の例として、ネットワークインターフェース１１１を使用し
て、センサ１０１のファームウェアおよび／または画像処理パラメータなどの画像プリプ
ロセッサ１０３の動作パラメータをアップデートすることができる。さらに別の例として
、ネットワークインターフェース１１１を使用して、機械学習モデルを訓練するために潜
在的な訓練データをリモートサーバに送信することができる。
【0027】
図２は、自動運転のための機械学習モデルを訓練および適用するためのプロセスの一実
施形態を示す流れ図である。例えば、センサおよびオドメトリデータを含む入力データが
受信され、処理されて、機械学習モデルを訓練するための訓練データが作成される。いく
つかの実施形態では、センサデータは、自動運転システムを介して捕捉された画像データ
に対応する。いくつかの実施形態では、センサデータは、ユーザが手動で自動運転を解除
するなどの特定のユースケースに基づいて捕捉されたセンサデータに対応する。いくつか
の実施形態では、プロセスは、図１の深層学習システム１００のための機械学習モデルを
作成および配備するために使用される。
施形態を示す流れ図である。例えば、センサおよびオドメトリデータを含む入力データが
受信され、処理されて、機械学習モデルを訓練するための訓練データが作成される。いく
つかの実施形態では、センサデータは、自動運転システムを介して捕捉された画像データ
に対応する。いくつかの実施形態では、センサデータは、ユーザが手動で自動運転を解除
するなどの特定のユースケースに基づいて捕捉されたセンサデータに対応する。いくつか
の実施形態では、プロセスは、図１の深層学習システム１００のための機械学習モデルを
作成および配備するために使用される。
【0028】
２０１において、訓練データが準備される。いくつかの実施形態では、画像データおよ
びオドメトリデータを含むセンサデータを受信して、訓練データセットを作成する。セン
サデータは、１つまたは複数のカメラからの静止画像および／または動画を含むことがで
きる。関連するセンサデータを提供するために、レーダ、ＬｉＤＡＲ、超音波などの追加
のセンサを使用することができる。様々な実施形態において、センサデータは、センサデ
ータの特徴を識別するのを助けるために、対応するオドメトリデータと対にされる。例え
ば、位置および位置の変化のデータを使用して、レーンライン、交通制御信号、物体など
のセンサデータ内の関連する特徴の位置を識別することができる。いくつかの実施形態で
は、センサデータは時系列の要素であり、グラウンドトゥルースを判定するために使用さ
れる。次いで、グループのグラウンドトゥルースは、画像データの第１のフレームなどの
時系列のサブセットに関連付けられる。時系列の選択された要素およびグラウンドトゥル
ースは、訓練データを準備するために使用される。いくつかの実施形態では、訓練データ
は、レーンライン、車両経路、交通パターンなどのセンサデータからの特徴のみを識別す
るように機械学習モデルを訓練するために準備される。準備された訓練データは、訓練、
検証、および試験のためのデータを含むことができる。様々な実施形態において、センサ
データは、異なるフォーマットであってもよい。例えば、センサデータは、静止画像、動
画、オーディオなどであってもよい。オドメトリデータは、印加された加速度、印加され
た制動、印加された操舵、車両の位置、車両の向き、車両の位置の変化、車両の向きの変
化などの車両動作パラメータを含んでもよい。様々な実施形態では、訓練データは、訓練
データセットを作成するためにキュレーションおよびアノテーションされる。いくつかの
実施形態では、訓練データの準備の一部は、人間のキュレータによって実行されてもよい
。様々な実施形態では、訓練データの一部は、車両から捕捉されたデータから自動的に生
成され、ロバストな訓練データセットを構築するのに必要な労力および時間を大幅に削減
する。いくつかの実施形態では、データのフォーマットは、配備済み深層学習アプリケー
ションで使用される機械学習モデルと互換性がある。様々な実施形態において、訓練デー
タは、訓練されたモデルの精度を試験するための検証データを含む。
びオドメトリデータを含むセンサデータを受信して、訓練データセットを作成する。セン
サデータは、１つまたは複数のカメラからの静止画像および／または動画を含むことがで
きる。関連するセンサデータを提供するために、レーダ、ＬｉＤＡＲ、超音波などの追加
のセンサを使用することができる。様々な実施形態において、センサデータは、センサデ
ータの特徴を識別するのを助けるために、対応するオドメトリデータと対にされる。例え
ば、位置および位置の変化のデータを使用して、レーンライン、交通制御信号、物体など
のセンサデータ内の関連する特徴の位置を識別することができる。いくつかの実施形態で
は、センサデータは時系列の要素であり、グラウンドトゥルースを判定するために使用さ
れる。次いで、グループのグラウンドトゥルースは、画像データの第１のフレームなどの
時系列のサブセットに関連付けられる。時系列の選択された要素およびグラウンドトゥル
ースは、訓練データを準備するために使用される。いくつかの実施形態では、訓練データ
は、レーンライン、車両経路、交通パターンなどのセンサデータからの特徴のみを識別す
るように機械学習モデルを訓練するために準備される。準備された訓練データは、訓練、
検証、および試験のためのデータを含むことができる。様々な実施形態において、センサ
データは、異なるフォーマットであってもよい。例えば、センサデータは、静止画像、動
画、オーディオなどであってもよい。オドメトリデータは、印加された加速度、印加され
た制動、印加された操舵、車両の位置、車両の向き、車両の位置の変化、車両の向きの変
化などの車両動作パラメータを含んでもよい。様々な実施形態では、訓練データは、訓練
データセットを作成するためにキュレーションおよびアノテーションされる。いくつかの
実施形態では、訓練データの準備の一部は、人間のキュレータによって実行されてもよい
。様々な実施形態では、訓練データの一部は、車両から捕捉されたデータから自動的に生
成され、ロバストな訓練データセットを構築するのに必要な労力および時間を大幅に削減
する。いくつかの実施形態では、データのフォーマットは、配備済み深層学習アプリケー
ションで使用される機械学習モデルと互換性がある。様々な実施形態において、訓練デー
タは、訓練されたモデルの精度を試験するための検証データを含む。
【0029】
２０３において、機械学習モデルが訓練される。例えば、２０１で準備されたデータを
使用して機械学習モデルが訓練される。いくつかの実施形態では、モデルは、畳込みニュ
ーラルネットワーク（ＣＮＮ）などのニューラルネットワークである。様々な実施形態で
は、モデルは複数の中間層を含む。いくつかの実施形態では、ニューラルネットワークは
、複数の畳込み層およびプーリング層を含む複数の層を含むことができる。いくつかの実
施形態では、訓練モデルは、受信したセンサデータから作成された検証データセットを使
用して検証される。いくつかの実施形態では、機械学習モデルは、単一の入力画像から特
徴の３次元表現を予測するように訓練される。例えば、レーンラインの３次元表現が、カ
メラから捕捉された画像から推論されることができる。別の例として、カメラから捕捉さ
れた画像から、車両が合流しようとしているか否かを含む隣接車両の予測経路が予測され
る。
使用して機械学習モデルが訓練される。いくつかの実施形態では、モデルは、畳込みニュ
ーラルネットワーク（ＣＮＮ）などのニューラルネットワークである。様々な実施形態で
は、モデルは複数の中間層を含む。いくつかの実施形態では、ニューラルネットワークは
、複数の畳込み層およびプーリング層を含む複数の層を含むことができる。いくつかの実
施形態では、訓練モデルは、受信したセンサデータから作成された検証データセットを使
用して検証される。いくつかの実施形態では、機械学習モデルは、単一の入力画像から特
徴の３次元表現を予測するように訓練される。例えば、レーンラインの３次元表現が、カ
メラから捕捉された画像から推論されることができる。別の例として、カメラから捕捉さ
れた画像から、車両が合流しようとしているか否かを含む隣接車両の予測経路が予測され
る。
【0030】
２０５において、訓練された機械学習モデルが配備される。例えば、訓練された機械学
習モデルは、図１の深層学習ネットワーク１０５などの深層学習ネットワークのアップデ
ートとして車両にインストールされる。いくつかの実施形態では、無線アップデートを使
用して、新たに訓練された機械学習モデルをインストールする。いくつかの実施形態では
、アップデートは、ＷｉＦｉまたはセルラネットワークなどの無線ネットワークを使用し
て送信されるファームウェアアップデートである。いくつかの実施形態では、新しい機械
学習モデルは、車両が整備されるときにインストールされてもよい。
習モデルは、図１の深層学習ネットワーク１０５などの深層学習ネットワークのアップデ
ートとして車両にインストールされる。いくつかの実施形態では、無線アップデートを使
用して、新たに訓練された機械学習モデルをインストールする。いくつかの実施形態では
、アップデートは、ＷｉＦｉまたはセルラネットワークなどの無線ネットワークを使用し
て送信されるファームウェアアップデートである。いくつかの実施形態では、新しい機械
学習モデルは、車両が整備されるときにインストールされてもよい。
【0031】
２０７において、センサデータが受信される。例えば、センサデータは、車両の１つま
たは複数のセンサから捕捉される。いくつかの実施形態では、センサは図１のセンサ１０
１である。センサは、フロントガラスの後ろに取り付けられた魚眼カメラ、ピラーに取り
付けられた前向きまたは横向きカメラ、後ろ向きカメラなどの画像センサを含むことがで
きる。様々な実施形態では、センサデータは、２０３で訓練された機械学習モデルが入力
として利用する形式であるか、またはその形式に変換される。例えば、センサデータは、
生のまたは処理された画像データであってもよい。いくつかの実施形態では、データは、
超音波センサ、レーダ、ＬｉＤＡＲセンサ、マイクロフォン、または他の適切な技術から
捕捉されたデータである。いくつかの実施形態では、センサデータは、前処理ステップ中
に図１の画像プリプロセッサ１０３などの画像プリプロセッサを使用して前処理される。
例えば、画像は、歪み、ノイズなどを除去するために正規化されてもよい。
たは複数のセンサから捕捉される。いくつかの実施形態では、センサは図１のセンサ１０
１である。センサは、フロントガラスの後ろに取り付けられた魚眼カメラ、ピラーに取り
付けられた前向きまたは横向きカメラ、後ろ向きカメラなどの画像センサを含むことがで
きる。様々な実施形態では、センサデータは、２０３で訓練された機械学習モデルが入力
として利用する形式であるか、またはその形式に変換される。例えば、センサデータは、
生のまたは処理された画像データであってもよい。いくつかの実施形態では、データは、
超音波センサ、レーダ、ＬｉＤＡＲセンサ、マイクロフォン、または他の適切な技術から
捕捉されたデータである。いくつかの実施形態では、センサデータは、前処理ステップ中
に図１の画像プリプロセッサ１０３などの画像プリプロセッサを使用して前処理される。
例えば、画像は、歪み、ノイズなどを除去するために正規化されてもよい。
【0032】
２０９において、訓練された機械学習モデルが適用される。例えば、２０３で訓練され
た機械学習モデルは、２０７で受信されたセンサデータに適用される。いくつかの実施形
態では、モデルの適用は、図１の深層学習ネットワーク１０５などの深層学習ネットワー
クを使用して、図１のＡＩプロセッサ１０７などのＡＩプロセッサによって実行される。
様々な実施形態では、訓練された機械学習モデルを適用することによって、レーンライン
などの特徴の３次元表現が識別および／または予測される。例えば、車両が走行している
レーンのレーンラインを表現する２つのスプラインが推論される。別の例として、隣接車
両が現在のレーンに割り込む可能性があるかどうかを含む、隣接車両の予測経路が推論さ
れる。様々な実施形態では、機械学習モデルを適用することによって、車両、障害物、レ
ーン、交通制御信号、地図特徴、物体距離、制限速度、運転可能空間などが識別される。
いくつかの実施形態では、特徴は３次元で識別される。
た機械学習モデルは、２０７で受信されたセンサデータに適用される。いくつかの実施形
態では、モデルの適用は、図１の深層学習ネットワーク１０５などの深層学習ネットワー
クを使用して、図１のＡＩプロセッサ１０７などのＡＩプロセッサによって実行される。
様々な実施形態では、訓練された機械学習モデルを適用することによって、レーンライン
などの特徴の３次元表現が識別および／または予測される。例えば、車両が走行している
レーンのレーンラインを表現する２つのスプラインが推論される。別の例として、隣接車
両が現在のレーンに割り込む可能性があるかどうかを含む、隣接車両の予測経路が推論さ
れる。様々な実施形態では、機械学習モデルを適用することによって、車両、障害物、レ
ーン、交通制御信号、地図特徴、物体距離、制限速度、運転可能空間などが識別される。
いくつかの実施形態では、特徴は３次元で識別される。
【0033】
２１１において、自律型車両が制御される。例えば、１つまたは複数の自動運転機能が
、車両の様々な態様を制御することによって実施される。例は、車両の操舵、速度、加速
度、および／または制動を制御すること、レーン内の車両の位置を維持すること、他の車
両および／または障害物に対する車両の位置を維持すること、乗員に通知または警告を提
供することなどを含むことができる。２０９で実行された分析に基づいて、車両の操舵お
よび速度は、車両を２つのレーンライン間に維持するように制御される。例えば、左右の
レーンラインが予測され、対応する車両レーンおよび運転可能空間が識別される。様々な
実施形態では、図１の車両制御モジュール１０９などの車両制御モジュールが車両を制御
する。
、車両の様々な態様を制御することによって実施される。例は、車両の操舵、速度、加速
度、および／または制動を制御すること、レーン内の車両の位置を維持すること、他の車
両および／または障害物に対する車両の位置を維持すること、乗員に通知または警告を提
供することなどを含むことができる。２０９で実行された分析に基づいて、車両の操舵お
よび速度は、車両を２つのレーンライン間に維持するように制御される。例えば、左右の
レーンラインが予測され、対応する車両レーンおよび運転可能空間が識別される。様々な
実施形態では、図１の車両制御モジュール１０９などの車両制御モジュールが車両を制御
する。
【0034】
図３は、時系列の要素を使用して訓練データを作成するプロセスの一実施形態を示す流
れ図である。例えば、センサおよびオドメトリデータで構成される時系列の要素が、車両
から収集され、訓練データを自動的に作成するために使用される。様々な実施形態におい
て、図３のプロセスは、訓練データを対応するグラウンドトゥルースで自動的にラベル付
けするために使用される。時系列に対応する結果は、時系列の要素に関連付けられる。結
果および選択された要素は、将来の結果を予測するための訓練データとしてパッケージ化
される。様々な実施形態では、センサおよび関連データは、図１の深層学習システムを使
用して捕捉される。例えば、様々な実施形態において、センサデータは、図１のセンサ１
０１から捕捉される。いくつかの実施形態では、図３のプロセスは、図２の２０１で実行
される。いくつかの実施形態では、図３のプロセスは、既存の予測が正しくないかまたは
改善され得る場合にデータを自動的に収集するために実行される。例えば、車両が自律型
車両の経路に割り込んでいるかどうかを判定するために、自律型車両によって予測が行わ
れる。一定期間待機し、捕捉されたセンサデータを分析した後、予測が正しいか誤ってい
るかの判定を行うことができる。いくつかの実施形態では、予測が改善され得るという判
定が行われる。予測が正しくなかった場合、または改善することができた場合、図３のプ
ロセスを予測に関連するデータに適用して、機械学習モデルを改善するための例のキュレ
ーションされたセットを作成することができる。
れ図である。例えば、センサおよびオドメトリデータで構成される時系列の要素が、車両
から収集され、訓練データを自動的に作成するために使用される。様々な実施形態におい
て、図３のプロセスは、訓練データを対応するグラウンドトゥルースで自動的にラベル付
けするために使用される。時系列に対応する結果は、時系列の要素に関連付けられる。結
果および選択された要素は、将来の結果を予測するための訓練データとしてパッケージ化
される。様々な実施形態では、センサおよび関連データは、図１の深層学習システムを使
用して捕捉される。例えば、様々な実施形態において、センサデータは、図１のセンサ１
０１から捕捉される。いくつかの実施形態では、図３のプロセスは、図２の２０１で実行
される。いくつかの実施形態では、図３のプロセスは、既存の予測が正しくないかまたは
改善され得る場合にデータを自動的に収集するために実行される。例えば、車両が自律型
車両の経路に割り込んでいるかどうかを判定するために、自律型車両によって予測が行わ
れる。一定期間待機し、捕捉されたセンサデータを分析した後、予測が正しいか誤ってい
るかの判定を行うことができる。いくつかの実施形態では、予測が改善され得るという判
定が行われる。予測が正しくなかった場合、または改善することができた場合、図３のプ
ロセスを予測に関連するデータに適用して、機械学習モデルを改善するための例のキュレ
ーションされたセットを作成することができる。
【0035】
３０１において、時系列の要素が受信される。様々な実施形態では、要素は、車両で捕
捉されて訓練サーバに送信される画像データなどのセンサデータである。センサデータは
、時系列の要素を作成するために一定期間にわたって捕捉される。様々な実施形態におい
て、要素は、要素の順序を維持するためのタイムスタンプである。要素が時系列を通って
進むにつれて、時系列におけるより後のイベントは、時系列のより早い要素からの結果の
予測を助けるために使用される。例えば、時系列は、合流するように合図し、加速し、自
分自身を近くのレーンラインの近くに配置している隣接車線内の車両を捕捉することがで
きる。時系列全体を使用して、結果を使用して、車両が共有レーンに合流したことを判定
することができる。この結果は、時系列の初期画像のうちの１つなどの時系列の選択され
た要素に基づいて車両が合流することを予測するために使用することができる。別の例と
して、時系列はレーンラインの曲線を捕捉する。時系列は、時系列の単一の要素のみから
は明らかではないレーンの様々なくぼみ、曲がり、山などを捕捉する。様々な実施形態に
おいて、要素は、機械学習モデルが入力として使用する形式のセンサデータである。例え
ば、センサデータは、生のまたは処理された画像データであってもよい。いくつかの実施
形態では、データは、超音波センサ、レーダ、ＬｉＤＡＲセンサ、または他の適切な技術
から捕捉されたデータである。
捉されて訓練サーバに送信される画像データなどのセンサデータである。センサデータは
、時系列の要素を作成するために一定期間にわたって捕捉される。様々な実施形態におい
て、要素は、要素の順序を維持するためのタイムスタンプである。要素が時系列を通って
進むにつれて、時系列におけるより後のイベントは、時系列のより早い要素からの結果の
予測を助けるために使用される。例えば、時系列は、合流するように合図し、加速し、自
分自身を近くのレーンラインの近くに配置している隣接車線内の車両を捕捉することがで
きる。時系列全体を使用して、結果を使用して、車両が共有レーンに合流したことを判定
することができる。この結果は、時系列の初期画像のうちの１つなどの時系列の選択され
た要素に基づいて車両が合流することを予測するために使用することができる。別の例と
して、時系列はレーンラインの曲線を捕捉する。時系列は、時系列の単一の要素のみから
は明らかではないレーンの様々なくぼみ、曲がり、山などを捕捉する。様々な実施形態に
おいて、要素は、機械学習モデルが入力として使用する形式のセンサデータである。例え
ば、センサデータは、生のまたは処理された画像データであってもよい。いくつかの実施
形態では、データは、超音波センサ、レーダ、ＬｉＤＡＲセンサ、または他の適切な技術
から捕捉されたデータである。
【0036】
様々な実施形態において、時系列は、タイムスタンプを時系列の各要素に関連付けるこ
とによって編成される。例えば、タイムスタンプは、時系列における少なくとも第１の要
素に関連付けられる。タイムスタンプは、オドメトリデータなどの関連データで時系列要
素を較正するために使用され得る。様々な実施形態では、時系列の長さは、１０秒、３０
秒、または別の適切な長さなどの固定長の時間であってもよい。時間の長さは設定可能で
あり得る。様々な実施形態において、時系列は、車両の平均速度などの車両の速度に基づ
くことができる。例えば、より遅い速度では、時系列の時間の長さを増加させて、同じ速
度に対してより短い時間長を使用する場合に可能となるよりも長い移動距離にわたってデ
ータを捕捉することができる。いくつかの実施形態では、時系列内の要素の数は設定可能
である。例えば、要素の数は、移動距離に基づくことができる。例えば、一定時間の間、
より速く移動する車両は、より遅く移動する車両よりも時系列内により多くの要素を含む
。追加の要素が、捕捉された環境の忠実度を高め、予測される機械学習結果の精度を向上
させることができる。様々な実施形態において、要素の数は、センサがデータを捕捉する
１秒当たりのフレームを調整することによって、および／または不要な中間フレームを破
棄することによって調整される。
とによって編成される。例えば、タイムスタンプは、時系列における少なくとも第１の要
素に関連付けられる。タイムスタンプは、オドメトリデータなどの関連データで時系列要
素を較正するために使用され得る。様々な実施形態では、時系列の長さは、１０秒、３０
秒、または別の適切な長さなどの固定長の時間であってもよい。時間の長さは設定可能で
あり得る。様々な実施形態において、時系列は、車両の平均速度などの車両の速度に基づ
くことができる。例えば、より遅い速度では、時系列の時間の長さを増加させて、同じ速
度に対してより短い時間長を使用する場合に可能となるよりも長い移動距離にわたってデ
ータを捕捉することができる。いくつかの実施形態では、時系列内の要素の数は設定可能
である。例えば、要素の数は、移動距離に基づくことができる。例えば、一定時間の間、
より速く移動する車両は、より遅く移動する車両よりも時系列内により多くの要素を含む
。追加の要素が、捕捉された環境の忠実度を高め、予測される機械学習結果の精度を向上
させることができる。様々な実施形態において、要素の数は、センサがデータを捕捉する
１秒当たりのフレームを調整することによって、および／または不要な中間フレームを破
棄することによって調整される。
【0037】
３０３において、時系列の要素に関連するデータが受信される。様々な実施形態では、
関連データは、３０１で受信された要素と共に訓練サーバで受信される。いくつかの実施
形態では、関連データは、車両のオドメトリデータである。位置、向き、位置の変化、向
きの変化、および／または他の関連車両データを使用して、時系列の要素で識別された特
徴の位置データをラベル付けすることができる。例えば、レーンラインの要素の時系列を
調べることにより、レーンラインを非常に正確な位置でラベル付けすることができる。通
常、車両カメラに最も近いレーンラインは正確であり、車両の位置に密接に関連している
。一方、車両から最も遠いラインのＸＹＺ位置は、決定が困難である。レーンラインの遠
方部分は、（例えば、曲がり角または丘の後ろに）閉塞している場合および／または正確
に捕捉することが（例えば、距離または照明などに起因して）困難である場合がある。要
素に関連するデータは、高い精度で識別された時系列で識別された特徴の部分をラベル付
けするために使用される。様々な実施形態では、閾値を使用して、特徴の識別された部分
（レーンラインの一部など）を関連データに関連付けるかどうかを判定する。例えば、高
い確度で識別されたレーンラインの部分（車両に近い部分など）は関連データに関連付け
られ、確度が閾値未満で識別されたレーンラインの部分（車両から遠く離れた部分など）
はその要素の関連データに関連付けられない。代わりに、より高い確度を有する後続要素
などの時系列の別の要素およびその関連データが使用される。いくつかの実施形態では、
関連データは、図１の深層学習ネットワーク１０５の出力などのニューラルネットワーク
の出力である。いくつかの実施形態では、関連データは、図１の車両制御モジュール１０
９などの車両制御モジュールの出力である。関連データは、速度、速度の変化、加速度、
加速度の変化、操舵、操舵の変化、制動、制動の変化などの車両動作パラメータを含むこ
とができる。いくつかの実施形態では、関連データは、障害物などの物体の距離を推定す
るためのレーダデータである。
関連データは、３０１で受信された要素と共に訓練サーバで受信される。いくつかの実施
形態では、関連データは、車両のオドメトリデータである。位置、向き、位置の変化、向
きの変化、および／または他の関連車両データを使用して、時系列の要素で識別された特
徴の位置データをラベル付けすることができる。例えば、レーンラインの要素の時系列を
調べることにより、レーンラインを非常に正確な位置でラベル付けすることができる。通
常、車両カメラに最も近いレーンラインは正確であり、車両の位置に密接に関連している
。一方、車両から最も遠いラインのＸＹＺ位置は、決定が困難である。レーンラインの遠
方部分は、（例えば、曲がり角または丘の後ろに）閉塞している場合および／または正確
に捕捉することが（例えば、距離または照明などに起因して）困難である場合がある。要
素に関連するデータは、高い精度で識別された時系列で識別された特徴の部分をラベル付
けするために使用される。様々な実施形態では、閾値を使用して、特徴の識別された部分
（レーンラインの一部など）を関連データに関連付けるかどうかを判定する。例えば、高
い確度で識別されたレーンラインの部分（車両に近い部分など）は関連データに関連付け
られ、確度が閾値未満で識別されたレーンラインの部分（車両から遠く離れた部分など）
はその要素の関連データに関連付けられない。代わりに、より高い確度を有する後続要素
などの時系列の別の要素およびその関連データが使用される。いくつかの実施形態では、
関連データは、図１の深層学習ネットワーク１０５の出力などのニューラルネットワーク
の出力である。いくつかの実施形態では、関連データは、図１の車両制御モジュール１０
９などの車両制御モジュールの出力である。関連データは、速度、速度の変化、加速度、
加速度の変化、操舵、操舵の変化、制動、制動の変化などの車両動作パラメータを含むこ
とができる。いくつかの実施形態では、関連データは、障害物などの物体の距離を推定す
るためのレーダデータである。
【0038】
いくつかの実施形態では、時系列の要素に関連するデータは、地図データを含む。例え
ば、３０３において、道路および／または衛星レベルの地図データなどのオフラインデー
タが受信される。地図データは、道路、車両レーン、交差点、制限速度、スクールゾーン
などの特徴を識別するために使用することができる。例えば、地図データは、車両レーン
の経路を記述することができる。別の例として、地図データは、地図の様々な道路に関連
付けられた制限速度を記述することができる。
ば、３０３において、道路および／または衛星レベルの地図データなどのオフラインデー
タが受信される。地図データは、道路、車両レーン、交差点、制限速度、スクールゾーン
などの特徴を識別するために使用することができる。例えば、地図データは、車両レーン
の経路を記述することができる。別の例として、地図データは、地図の様々な道路に関連
付けられた制限速度を記述することができる。
【0039】
様々な実施形態において、時系列の要素に関連するデータは、タイムスタンプを関連デ
ータと関連付けることによって編成される。時系列要素および関連データからの対応する
タイムスタンプを使用して、２つのデータセットを同期させることができる。いくつかの
実施形態では、データは捕捉時に同期される。例えば、時系列の各要素が捕捉されると、
対応する関連データのセットが捕捉され、時系列要素と共に保存される。様々な実施形態
では、関連データの期間は設定可能であり、および／または要素の時系列の期間と一致す
る。いくつかの実施形態では、関連データは、時系列要素と同じレートでサンプリングさ
れる。
ータと関連付けることによって編成される。時系列要素および関連データからの対応する
タイムスタンプを使用して、２つのデータセットを同期させることができる。いくつかの
実施形態では、データは捕捉時に同期される。例えば、時系列の各要素が捕捉されると、
対応する関連データのセットが捕捉され、時系列要素と共に保存される。様々な実施形態
では、関連データの期間は設定可能であり、および／または要素の時系列の期間と一致す
る。いくつかの実施形態では、関連データは、時系列要素と同じレートでサンプリングさ
れる。
【0040】
３０５において、時系列に対してグラウンドトゥルースが決定される。様々な実施形態
において、時系列は、機械学習特徴（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｆｅａｔｕｒ
ｅ）に関連するグラウンドトゥルースを決定するために分析される。例えば、レーンライ
ンは、そのレーンラインのグラウンドトゥルースに対応する時系列から識別される。別の
例として、移動物体（例えば、車両、歩行者、自転車、動物など）の経路についてのグラ
ウンドトゥルースは、時系列から検出された移動物体について識別された経路である。い
くつかの実施形態では、移動車両が時系列にわたって自律型車両のレーンに進入する場合
、移動車両は割込み車両としてアノテーションされる。いくつかの実施形態では、グラウ
ンドトゥルースは、３次元軌跡などの３次元表現として表現される。例えば、レーンライ
ンに関連付けられたグラウンドトゥルースは、３次元のパラメータ化スプラインまたは曲
線として表現され得る。別の例として、検出された車両の予測経路が決定され、３次元軌
跡として表現される。予測経路は、車両が占有空間に合流しているかどうかを判定するた
めに使用され得る。様々な実施形態において、時系列の要素を調べることによってのみ、
グラウンドトゥルースを決定することができる。例えば、時系列のサブセットのみを分析
すると、レーンラインの一部を閉塞されたままに残す可能性がある。時系列の要素にわた
って分析を拡張することによって、レーンラインの閉塞部分が明らかになる。さらに、時
系列の終わり近くに捕捉されたデータは、距離がより離れたレーンラインの部分の詳細を
より正確に（例えば、より高い忠実度で）捕捉する。さらに、関連データは、より近接し
て（距離および時間の両方で）捕捉されたデータに基づくため、関連データもより正確で
ある。様々な実施形態では、物体の異なる部分を高度を含む正確な３次元位置にマッピン
グするために、要素の時系列の異なる要素で識別されたレーンラインなどの検出された物
体の異なる部分に、同時位置特定およびマッピング技術が適用される。マッピングされた
３次元位置のセットは、時系列にわたって捕捉されたレーンラインのセグメントなどの物
体のグラウンドトゥルースを表現する。いくつかの実施形態では、位置特定およびマッピ
ング技術は、正確な点集合、例えば、車両レーンラインに沿った異なる点に対応する点集
合をもたらす。点集合は、スプライン曲線またはパラメトリック曲線などのより効率的な
フォーマットに変換することができる。いくつかの実施形態では、グラウンドトゥルース
は、レーンライン、運転可能空間、交通制御手段、車両などの物体を３次元で検出するた
めに決定される。
において、時系列は、機械学習特徴（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｆｅａｔｕｒ
ｅ）に関連するグラウンドトゥルースを決定するために分析される。例えば、レーンライ
ンは、そのレーンラインのグラウンドトゥルースに対応する時系列から識別される。別の
例として、移動物体（例えば、車両、歩行者、自転車、動物など）の経路についてのグラ
ウンドトゥルースは、時系列から検出された移動物体について識別された経路である。い
くつかの実施形態では、移動車両が時系列にわたって自律型車両のレーンに進入する場合
、移動車両は割込み車両としてアノテーションされる。いくつかの実施形態では、グラウ
ンドトゥルースは、３次元軌跡などの３次元表現として表現される。例えば、レーンライ
ンに関連付けられたグラウンドトゥルースは、３次元のパラメータ化スプラインまたは曲
線として表現され得る。別の例として、検出された車両の予測経路が決定され、３次元軌
跡として表現される。予測経路は、車両が占有空間に合流しているかどうかを判定するた
めに使用され得る。様々な実施形態において、時系列の要素を調べることによってのみ、
グラウンドトゥルースを決定することができる。例えば、時系列のサブセットのみを分析
すると、レーンラインの一部を閉塞されたままに残す可能性がある。時系列の要素にわた
って分析を拡張することによって、レーンラインの閉塞部分が明らかになる。さらに、時
系列の終わり近くに捕捉されたデータは、距離がより離れたレーンラインの部分の詳細を
より正確に（例えば、より高い忠実度で）捕捉する。さらに、関連データは、より近接し
て（距離および時間の両方で）捕捉されたデータに基づくため、関連データもより正確で
ある。様々な実施形態では、物体の異なる部分を高度を含む正確な３次元位置にマッピン
グするために、要素の時系列の異なる要素で識別されたレーンラインなどの検出された物
体の異なる部分に、同時位置特定およびマッピング技術が適用される。マッピングされた
３次元位置のセットは、時系列にわたって捕捉されたレーンラインのセグメントなどの物
体のグラウンドトゥルースを表現する。いくつかの実施形態では、位置特定およびマッピ
ング技術は、正確な点集合、例えば、車両レーンラインに沿った異なる点に対応する点集
合をもたらす。点集合は、スプライン曲線またはパラメトリック曲線などのより効率的な
フォーマットに変換することができる。いくつかの実施形態では、グラウンドトゥルース
は、レーンライン、運転可能空間、交通制御手段、車両などの物体を３次元で検出するた
めに決定される。
【0041】
いくつかの実施形態では、グラウンドトゥルースは、意味ラベルを予測するために決定
される。例えば、検出された車両は、左レーンまたは右レーンにあるとラベル付けするこ
とができる。いくつかの実施形態では、検出された車両は、死角にあるとして、道を譲る
べき車両として、または別の適切な意味ラベルでラベル付けすることができる。いくつか
の実施形態では、車両は、決定されたグラウンドトゥルースに基づいて地図内の道路また
はレーンに割り当てられる。追加の例として、決定されたグラウンドトゥルースを使用し
て、信号機、レーン、運転可能空間、または自動運転を支援する他の特徴をラベル付けす
ることができる。
される。例えば、検出された車両は、左レーンまたは右レーンにあるとラベル付けするこ
とができる。いくつかの実施形態では、検出された車両は、死角にあるとして、道を譲る
べき車両として、または別の適切な意味ラベルでラベル付けすることができる。いくつか
の実施形態では、車両は、決定されたグラウンドトゥルースに基づいて地図内の道路また
はレーンに割り当てられる。追加の例として、決定されたグラウンドトゥルースを使用し
て、信号機、レーン、運転可能空間、または自動運転を支援する他の特徴をラベル付けす
ることができる。
【0042】
いくつかの実施形態では、関連データは、検出された物体の深度（または距離）データ
である。距離データを要素の時系列において識別された物体と関連付けることによって、
機械学習モデルは、検出された物体についてのグラウンドトゥルースとして関連する距離
データを使用することによって物体距離を推定するように訓練されることができる。いく
つかの実施形態では、距離は、障害物、障壁、移動車両、静止車両、交通制御信号、歩行
者などの検出された物体の距離である。
である。距離データを要素の時系列において識別された物体と関連付けることによって、
機械学習モデルは、検出された物体についてのグラウンドトゥルースとして関連する距離
データを使用することによって物体距離を推定するように訓練されることができる。いく
つかの実施形態では、距離は、障害物、障壁、移動車両、静止車両、交通制御信号、歩行
者などの検出された物体の距離である。
【0043】
３０７において、訓練データがパッケージ化される。例えば、時系列の要素が選択され
、３０５で決定されたグラウンドトゥルースと関連付けられる。様々な実施形態において
、選択される要素は、時系列における初期要素である。選択された要素は、機械学習モデ
ルに入力されたセンサデータを表現し、グラウンドトゥルースは、予測される結果を表現
する。様々な実施形態において、訓練データは、訓練データとしてパッケージ化され準備
される。いくつかの実施形態では、訓練データは、訓練、検証、および試験データにパッ
ケージ化される。決定されたグラウンドトゥルースおよび選択された時系列の要素に基づ
いて、訓練データは、自動運転のための他の有用な特徴の中でも、レーンライン、車両の
予測経路、制限速度、車両の割込み、物体距離、および／または運転可能空間を識別する
ための機械学習モデルを訓練するためにパッケージ化することができる。パッケージ化さ
れた訓練データはこうして機械学習モデルを訓練するために利用可能となる。
、３０５で決定されたグラウンドトゥルースと関連付けられる。様々な実施形態において
、選択される要素は、時系列における初期要素である。選択された要素は、機械学習モデ
ルに入力されたセンサデータを表現し、グラウンドトゥルースは、予測される結果を表現
する。様々な実施形態において、訓練データは、訓練データとしてパッケージ化され準備
される。いくつかの実施形態では、訓練データは、訓練、検証、および試験データにパッ
ケージ化される。決定されたグラウンドトゥルースおよび選択された時系列の要素に基づ
いて、訓練データは、自動運転のための他の有用な特徴の中でも、レーンライン、車両の
予測経路、制限速度、車両の割込み、物体距離、および／または運転可能空間を識別する
ための機械学習モデルを訓練するためにパッケージ化することができる。パッケージ化さ
れた訓練データはこうして機械学習モデルを訓練するために利用可能となる。
【0044】
図４は、自動運転のための機械学習モデルを訓練および適用するプロセスの一実施形態
を示す流れ図である。いくつかの実施形態では、図４のプロセスは、自動運転のための機
械学習モデルを訓練するためのセンサデータおよびオドメトリデータを収集および保持す
るために利用される。いくつかの実施形態では、図４のプロセスは、自動運転制御が有効
であるか否かにかかわらず、自動運転が有効な車両で実施される。例えば、センサおよび
オドメトリデータは、自動運転が解除された直後、車両が人間の運転者によって運転され
ている間、および／または車両が自動運転されている間に収集することができる。いくつ
かの実施形態では、図４によって説明される技術は、図１の深層学習システムを使用して
実施される。いくつかの実施形態では、図４のプロセスの一部は、自動運転のための機械
学習モデルを適用するプロセスの一部として、図２の２０７、２０９、および／または２
１１で実行される。
を示す流れ図である。いくつかの実施形態では、図４のプロセスは、自動運転のための機
械学習モデルを訓練するためのセンサデータおよびオドメトリデータを収集および保持す
るために利用される。いくつかの実施形態では、図４のプロセスは、自動運転制御が有効
であるか否かにかかわらず、自動運転が有効な車両で実施される。例えば、センサおよび
オドメトリデータは、自動運転が解除された直後、車両が人間の運転者によって運転され
ている間、および／または車両が自動運転されている間に収集することができる。いくつ
かの実施形態では、図４によって説明される技術は、図１の深層学習システムを使用して
実施される。いくつかの実施形態では、図４のプロセスの一部は、自動運転のための機械
学習モデルを適用するプロセスの一部として、図２の２０７、２０９、および／または２
１１で実行される。
【0045】
４０１において、センサデータが受信される。例えば、センサを備えた車両が、センサ
データを捕捉し、車両上で動作するニューラルネットワークにセンサデータを提供する。
いくつかの実施形態では、センサデータは、視覚データ、超音波データ、ＬｉＤＡＲデー
タ、または他の適切なセンサデータであってもよい。例えば、高ダイナミックレンジ前向
きカメラから画像が捕捉される。別の例として、横向き超音波センサから超音波データが
捕捉される。いくつかの実施形態では、車両には、データを捕捉するための複数のセンサ
が取り付けられる。例えば、いくつかの実施形態では、８つのサラウンドカメラが車両に
取り付けられ、車両の周囲の３６０度の視界を最大２５０メートルの到達距離で提供する
。いくつかの実施形態では、カメラセンサは、広角前方カメラ、狭角前方カメラ、後方視
認カメラ、前方視サイドカメラ、および／または後方視サイドカメラを含む。いくつかの
実施形態では、超音波および／またはレーダセンサを使用して周囲の詳細を捕捉する。例
えば、１２個の超音波センサを車両に取り付けて、硬い物体と柔らかい物体の両方を検出
することができる。いくつかの実施形態では、前向きレーダを利用して周囲環境のデータ
を捕捉する。様々な実施形態では、レーダセンサは、大雨、霧、埃、および他の車両にも
かかわらず、周囲の詳細を捕捉することができる。様々なセンサは、車両の周囲の環境を
捕捉するために使用され、捕捉されたデータは、深層学習分析のために提供される。
データを捕捉し、車両上で動作するニューラルネットワークにセンサデータを提供する。
いくつかの実施形態では、センサデータは、視覚データ、超音波データ、ＬｉＤＡＲデー
タ、または他の適切なセンサデータであってもよい。例えば、高ダイナミックレンジ前向
きカメラから画像が捕捉される。別の例として、横向き超音波センサから超音波データが
捕捉される。いくつかの実施形態では、車両には、データを捕捉するための複数のセンサ
が取り付けられる。例えば、いくつかの実施形態では、８つのサラウンドカメラが車両に
取り付けられ、車両の周囲の３６０度の視界を最大２５０メートルの到達距離で提供する
。いくつかの実施形態では、カメラセンサは、広角前方カメラ、狭角前方カメラ、後方視
認カメラ、前方視サイドカメラ、および／または後方視サイドカメラを含む。いくつかの
実施形態では、超音波および／またはレーダセンサを使用して周囲の詳細を捕捉する。例
えば、１２個の超音波センサを車両に取り付けて、硬い物体と柔らかい物体の両方を検出
することができる。いくつかの実施形態では、前向きレーダを利用して周囲環境のデータ
を捕捉する。様々な実施形態では、レーダセンサは、大雨、霧、埃、および他の車両にも
かかわらず、周囲の詳細を捕捉することができる。様々なセンサは、車両の周囲の環境を
捕捉するために使用され、捕捉されたデータは、深層学習分析のために提供される。
【0046】
いくつかの実施形態では、センサデータは、車両の位置、向き、位置の変化、および／
または向きの変化などを含むオドメトリデータを含む。例えば、位置データが捕捉され、
同じ時間フレーム中に捕捉された他のセンサデータと関連付けられる。一例として、画像
データの撮像時に捕捉された位置データは、位置情報を画像データと関連付けるために用
いられる。
または向きの変化などを含むオドメトリデータを含む。例えば、位置データが捕捉され、
同じ時間フレーム中に捕捉された他のセンサデータと関連付けられる。一例として、画像
データの撮像時に捕捉された位置データは、位置情報を画像データと関連付けるために用
いられる。
【0047】
４０３において、センサデータが前処理される。いくつかの実施形態では、センサデー
タに対して１つまたは複数の前処理パスを実行することができる。例えば、データは、ノ
イズを除去し、位置合わせの問題および／またはぼやけなどを補正するために前処理され
てもよい。いくつかの実施形態では、１つまたは複数の異なるフィルタリングパスがデー
タに対して実行される。例えば、センサデータの異なる成分を分離するために、データに
対してハイパスフィルタを実行し、データに対してローパスフィルタを実行することがで
きる。様々な実施形態では、４０３で実行される前処理ステップは任意選択であり、およ
び／またはニューラルネットワークに組み込まれてもよい。
タに対して１つまたは複数の前処理パスを実行することができる。例えば、データは、ノ
イズを除去し、位置合わせの問題および／またはぼやけなどを補正するために前処理され
てもよい。いくつかの実施形態では、１つまたは複数の異なるフィルタリングパスがデー
タに対して実行される。例えば、センサデータの異なる成分を分離するために、データに
対してハイパスフィルタを実行し、データに対してローパスフィルタを実行することがで
きる。様々な実施形態では、４０３で実行される前処理ステップは任意選択であり、およ
び／またはニューラルネットワークに組み込まれてもよい。
【0048】
４０５において、センサデータの深層学習分析が開始される。いくつかの実施形態では
、深層学習分析は、４０３で任意選択的に前処理されたセンサデータに対して実行される
。様々な実施形態において、深層学習分析は、畳込みニューラルネットワーク（ＣＮＮ）
などのニューラルネットワークを使用して実行される。様々な実施形態では、機械学習モ
デルは、図２のプロセスを使用してオフラインで訓練され、センサデータに対する推論を
実行するために車両に配備される。例えば、モデルは、道路レーンライン、障害物、歩行
者、移動車両、駐車車両、運転可能空間などを適切に識別するように訓練されてもよい。
いくつかの実施形態では、レーンラインの複数の軌跡が識別される。例えば、レーンライ
ンのいくつかの潜在的な軌跡が検出され、各軌跡は対応する出現（発生）確率を有する。
いくつかの実施形態では、予測されるレーンラインは、出現確率が最も高いおよび／また
は関連する信頼値が最も高いレーンラインである。いくつかの実施形態では、深層学習分
析からの予測レーンラインは、最小信頼閾値を超えることを必要とする。様々な実施形態
において、ニューラルネットワークは、１つまたは複数の中間層を含む複数の層を含む。
様々な実施形態において、センサデータおよび／または深層学習分析の結果は、訓練デー
タの自動生成のために保持され４１１において送信される。
、深層学習分析は、４０３で任意選択的に前処理されたセンサデータに対して実行される
。様々な実施形態において、深層学習分析は、畳込みニューラルネットワーク（ＣＮＮ）
などのニューラルネットワークを使用して実行される。様々な実施形態では、機械学習モ
デルは、図２のプロセスを使用してオフラインで訓練され、センサデータに対する推論を
実行するために車両に配備される。例えば、モデルは、道路レーンライン、障害物、歩行
者、移動車両、駐車車両、運転可能空間などを適切に識別するように訓練されてもよい。
いくつかの実施形態では、レーンラインの複数の軌跡が識別される。例えば、レーンライ
ンのいくつかの潜在的な軌跡が検出され、各軌跡は対応する出現（発生）確率を有する。
いくつかの実施形態では、予測されるレーンラインは、出現確率が最も高いおよび／また
は関連する信頼値が最も高いレーンラインである。いくつかの実施形態では、深層学習分
析からの予測レーンラインは、最小信頼閾値を超えることを必要とする。様々な実施形態
において、ニューラルネットワークは、１つまたは複数の中間層を含む複数の層を含む。
様々な実施形態において、センサデータおよび／または深層学習分析の結果は、訓練デー
タの自動生成のために保持され４１１において送信される。
【0049】
様々な実施形態において、深層学習分析は、追加の特徴を予測するために使用される。
予測された特徴は、自動運転を支援するために使用され得る。例えば、検出された車両を
レーンまたは道路に割り当てることができる。別の例として、検出された車両は、死角に
ある、道を譲るべき車両である、左隣のレーンの車両である、右隣のレーンの車両である
、または別の適切な属性を有すると判定することができる。同様に、深層学習分析は、信
号機、運転可能空間、歩行者、障害物、または運転のための他の適切な特徴を識別するこ
とができる。
予測された特徴は、自動運転を支援するために使用され得る。例えば、検出された車両を
レーンまたは道路に割り当てることができる。別の例として、検出された車両は、死角に
ある、道を譲るべき車両である、左隣のレーンの車両である、右隣のレーンの車両である
、または別の適切な属性を有すると判定することができる。同様に、深層学習分析は、信
号機、運転可能空間、歩行者、障害物、または運転のための他の適切な特徴を識別するこ
とができる。
【0050】
４０７において、深層学習分析の結果が車両制御に提供される。例えば、結果は、自動
運転のために車両を制御するため、および／または自動運転機能を実施するために、車両
制御モジュールに提供される。いくつかの実施形態では、４０５での深層学習分析の結果
は、１つまたは複数の異なる機械学習モデルを使用して、１つまたは複数の追加の深層学
習パスを通過する。例えば、レーンラインの予測経路を使用して車両レーンを決定するこ
とができ、決定された車両レーンを使用して運転可能空間を決定する。次いで、運転可能
空間は、車両の経路を決定するために使用される。同様に、いくつかの実施形態では、予
測される車両割込みが検出される。車両の決定された経路は、潜在的な衝突を回避するた
めに予測された割込みを考慮する。いくつかの実施形態では、深層学習の様々な出力は、
車両の予測経路、識別された障害物、制限速度を含む識別された交通制御信号などを含む
自動運転のための車両の環境の３次元表現を構築するために使用される。いくつかの実施
形態では、車両制御モジュールは、決定された経路に沿って車両を制御するために決定さ
れた結果を利用する。いくつかの実施形態では、車両制御モジュールは、図１の車両制御
モジュール１０９である。
運転のために車両を制御するため、および／または自動運転機能を実施するために、車両
制御モジュールに提供される。いくつかの実施形態では、４０５での深層学習分析の結果
は、１つまたは複数の異なる機械学習モデルを使用して、１つまたは複数の追加の深層学
習パスを通過する。例えば、レーンラインの予測経路を使用して車両レーンを決定するこ
とができ、決定された車両レーンを使用して運転可能空間を決定する。次いで、運転可能
空間は、車両の経路を決定するために使用される。同様に、いくつかの実施形態では、予
測される車両割込みが検出される。車両の決定された経路は、潜在的な衝突を回避するた
めに予測された割込みを考慮する。いくつかの実施形態では、深層学習の様々な出力は、
車両の予測経路、識別された障害物、制限速度を含む識別された交通制御信号などを含む
自動運転のための車両の環境の３次元表現を構築するために使用される。いくつかの実施
形態では、車両制御モジュールは、決定された経路に沿って車両を制御するために決定さ
れた結果を利用する。いくつかの実施形態では、車両制御モジュールは、図１の車両制御
モジュール１０９である。
【0051】
４０９において、車両が制御される。いくつかの実施形態では、自動運転が起動された
車両は、図１の車両制御モジュール１０９などの車両制御モジュールを使用して制御され
る。車両制御は、例えば、周囲の環境を考慮してレーン内の車両を適切な速度に維持する
ために、車両の速度および／または操舵を調整することができる。いくつかの実施形態で
は、結果は、隣接車両が同じレーンに合流することを予測して車両を調整するために使用
される。様々な実施形態では、深層学習分析の結果を使用して、車両制御モジュールは、
例えば適切な速度で決定された経路に沿って、車両を動作させる適切な方法を決定する。
様々な実施形態では、速度の変化、制動の適用、操舵の調整などの車両制御の結果が保持
され、訓練データの自動生成に使用される。様々な実施形態において、車両制御パラメー
タは、訓練データの自動生成のために保持され４１１において送信される。
車両は、図１の車両制御モジュール１０９などの車両制御モジュールを使用して制御され
る。車両制御は、例えば、周囲の環境を考慮してレーン内の車両を適切な速度に維持する
ために、車両の速度および／または操舵を調整することができる。いくつかの実施形態で
は、結果は、隣接車両が同じレーンに合流することを予測して車両を調整するために使用
される。様々な実施形態では、深層学習分析の結果を使用して、車両制御モジュールは、
例えば適切な速度で決定された経路に沿って、車両を動作させる適切な方法を決定する。
様々な実施形態では、速度の変化、制動の適用、操舵の調整などの車両制御の結果が保持
され、訓練データの自動生成に使用される。様々な実施形態において、車両制御パラメー
タは、訓練データの自動生成のために保持され４１１において送信される。
【0052】
４１１において、センサデータおよび関連データが送信される。例えば、４０１で受信
したセンサデータは、４０５での深層学習分析の結果および／または４０９で使用された
車両制御パラメータと共に、訓練データの自動生成のためにコンピュータサーバに送信さ
れる。いくつかの実施形態では、データは時系列データであり、様々な収集されたデータ
はコンピュータサーバによって一緒に関連付けられる。例えば、オドメトリデータが、グ
ラウンドトゥルースを生成するために捕捉された画像データと関連付けられる。様々な実
施形態では、収集されたデータは、例えばＷｉＦｉまたはセルラ接続を介して、車両から
訓練データセンタに無線で送信される。いくつかの実施形態では、メタデータがセンサデ
ータと共に送信される。例えば、メタデータは、時刻、タイムスタンプ、位置、車両の種
類や、速度、加速度、制動、自動運転が有効にされたかどうか、操舵角、オドメトリデー
タなどの車両制御および／または動作パラメータを含むことができる。追加のメタデータ
は、最後の以前のセンサデータが送信されてからの時間、車両の種類、気象状況、道路状
況などを含む。いくつかの実施形態では、送信されるデータは、例えば車両の固有識別子
を削除することによって匿名化される。別の例として、類似の車両モデルからのデータは
、個々のユーザおよびその車両の使用が識別されないようにマージされる。
したセンサデータは、４０５での深層学習分析の結果および／または４０９で使用された
車両制御パラメータと共に、訓練データの自動生成のためにコンピュータサーバに送信さ
れる。いくつかの実施形態では、データは時系列データであり、様々な収集されたデータ
はコンピュータサーバによって一緒に関連付けられる。例えば、オドメトリデータが、グ
ラウンドトゥルースを生成するために捕捉された画像データと関連付けられる。様々な実
施形態では、収集されたデータは、例えばＷｉＦｉまたはセルラ接続を介して、車両から
訓練データセンタに無線で送信される。いくつかの実施形態では、メタデータがセンサデ
ータと共に送信される。例えば、メタデータは、時刻、タイムスタンプ、位置、車両の種
類や、速度、加速度、制動、自動運転が有効にされたかどうか、操舵角、オドメトリデー
タなどの車両制御および／または動作パラメータを含むことができる。追加のメタデータ
は、最後の以前のセンサデータが送信されてからの時間、車両の種類、気象状況、道路状
況などを含む。いくつかの実施形態では、送信されるデータは、例えば車両の固有識別子
を削除することによって匿名化される。別の例として、類似の車両モデルからのデータは
、個々のユーザおよびその車両の使用が識別されないようにマージされる。
【0053】
いくつかの実施形態では、データはトリガに応答してのみ送信される。例えば、いくつ
かの実施形態では、誤った予測は、深層学習ネットワークの予測を改善するための例のキ
ュレーションされたセットを作成するためにデータを自動的に収集するためのセンサデー
タおよび関連データの送信をトリガする。例えば、車両が合流しようとしているかどうか
に関連して４０５で実行される予測は、予測を観測された実際の結果と比較することによ
って正しくないと判定される。次いで、誤った予測に関連付けられたセンサデータおよび
関連データを含むデータが送信され、訓練データを自動的に生成するために使用される。
いくつかの実施形態では、トリガを使用して、急カーブ、道路の分岐、レーン合流、突然
の停止、または追加の訓練データが有用であり、収集が困難であり得る別の適切なシナリ
オなどの特定のシナリオを識別することができる。例えば、トリガは、自動運転機能の突
然の停止または解除に基づくことができる。別の例として、速度の変化または加速度の変
化などの車両動作特性がトリガの基礎を形成することができる。いくつかの実施形態では
、特定の閾値未満の精度での予測が、センサデータおよび関連データの送信をトリガする
。例えば、特定のシナリオでは、予測はブール値の真または偽の結果を有さないこともあ
り、代わりに予測の精度値を決定することによって評価される。
かの実施形態では、誤った予測は、深層学習ネットワークの予測を改善するための例のキ
ュレーションされたセットを作成するためにデータを自動的に収集するためのセンサデー
タおよび関連データの送信をトリガする。例えば、車両が合流しようとしているかどうか
に関連して４０５で実行される予測は、予測を観測された実際の結果と比較することによ
って正しくないと判定される。次いで、誤った予測に関連付けられたセンサデータおよび
関連データを含むデータが送信され、訓練データを自動的に生成するために使用される。
いくつかの実施形態では、トリガを使用して、急カーブ、道路の分岐、レーン合流、突然
の停止、または追加の訓練データが有用であり、収集が困難であり得る別の適切なシナリ
オなどの特定のシナリオを識別することができる。例えば、トリガは、自動運転機能の突
然の停止または解除に基づくことができる。別の例として、速度の変化または加速度の変
化などの車両動作特性がトリガの基礎を形成することができる。いくつかの実施形態では
、特定の閾値未満の精度での予測が、センサデータおよび関連データの送信をトリガする
。例えば、特定のシナリオでは、予測はブール値の真または偽の結果を有さないこともあ
り、代わりに予測の精度値を決定することによって評価される。
【0054】
様々な実施形態では、センサデータおよび関連データはある期間にわたって捕捉され、
時系列データ全体が一緒に送信される。期間は、車両の速度、移動した距離、速度の変化
などの１つまたは複数の要因に基づいて構成および／または基づくことができる。いくつ
かの実施形態では、捕捉されたセンサデータおよび／または関連データのサンプリングレ
ートは設定可能である。例えば、サンプリングレートは、高速で、急ブレーキ中に、急加
速中に、急操舵中に、または追加の忠実度が必要な別の適切なシナリオで増加される。
時系列データ全体が一緒に送信される。期間は、車両の速度、移動した距離、速度の変化
などの１つまたは複数の要因に基づいて構成および／または基づくことができる。いくつ
かの実施形態では、捕捉されたセンサデータおよび／または関連データのサンプリングレ
ートは設定可能である。例えば、サンプリングレートは、高速で、急ブレーキ中に、急加
速中に、急操舵中に、または追加の忠実度が必要な別の適切なシナリオで増加される。
【0055】
図５は、車両センサから捕捉された画像の一例を示す図である。図示の例では、図５の
画像は、２つのレーンラインの間のレーンを走行する車両から捕捉された画像データ５０
０を含む。画像データ５００を捕捉するために使用される車両およびセンサの位置は、ラ
ベルＡによって表される。画像データ５００は、センサデータであり、運転中に車両の前
向きカメラなどのカメラセンサから捕捉することができる。画像データ５００は、レーン
ライン５０１、５１１の部分を捕捉する。レーンライン５０１および５１１は、レーンラ
イン５０１および５１１が水平線に近づくにつれて右に湾曲する。図示の例では、レーン
ライン５０１および５１１が見えているが、それらがカメラセンサの位置から離れて遠方
に湾曲するにつれて、検出がますます困難になる。レーンライン５０１および５１１の上
に描かれた白線は、追加の入力なしに画像データ５００からレーンライン５０１および５
１１の検出可能な部分を近似する。いくつかの実施形態では、レーンライン５０１および
５１１の検出された部分は、画像データ５００をセグメント化することによって検出する
ことができる。
画像は、２つのレーンラインの間のレーンを走行する車両から捕捉された画像データ５０
０を含む。画像データ５００を捕捉するために使用される車両およびセンサの位置は、ラ
ベルＡによって表される。画像データ５００は、センサデータであり、運転中に車両の前
向きカメラなどのカメラセンサから捕捉することができる。画像データ５００は、レーン
ライン５０１、５１１の部分を捕捉する。レーンライン５０１および５１１は、レーンラ
イン５０１および５１１が水平線に近づくにつれて右に湾曲する。図示の例では、レーン
ライン５０１および５１１が見えているが、それらがカメラセンサの位置から離れて遠方
に湾曲するにつれて、検出がますます困難になる。レーンライン５０１および５１１の上
に描かれた白線は、追加の入力なしに画像データ５００からレーンライン５０１および５
１１の検出可能な部分を近似する。いくつかの実施形態では、レーンライン５０１および
５１１の検出された部分は、画像データ５００をセグメント化することによって検出する
ことができる。
【0056】
いくつかの実施形態では、ラベルＡ、Ｂ、およびＣは、道路上の異なる位置および時系
列の異なる時刻に対応する。ラベルＡは、画像データ５００が捕捉されたときの車両の時
刻および位置に対応する。ラベルＢは、ラベルＡの位置の前方の道路上の位置であって、
ラベルＡの時刻の後の時刻における位置に対応する。同様に、ラベルＣは、ラベルＢの位
置の前方の道路上の位置であって、ラベルＢの時刻の後の時刻における位置に対応する。
車両は、走行するにつれて、ラベルＡ、ラベルＢ、およびラベルＣの位置を（ラベルＡか
らラベルＣへ）通過し、走行中にセンサデータおよび関連データの時系列を捕捉する。時
系列は、ラベルＡ、Ｂ、およびＣの位置（および時刻）で捕捉された要素を含む。ラベル
Ａは、時系列の最初の要素に対応し、ラベルＢは、時系列の中間要素に対応し、ラベルＣ
は、時系列の中間（または潜在的に最後の）要素に対応する。各ラベルにおいて、ラベル
位置における車両のオドメトリデータなどの追加データが捕捉される。時系列の長さに応
じて、追加のまたはより少ないデータが捕捉される。いくつかの実施形態では、タイムス
タンプが時系列の各要素に関連付けられる。
列の異なる時刻に対応する。ラベルＡは、画像データ５００が捕捉されたときの車両の時
刻および位置に対応する。ラベルＢは、ラベルＡの位置の前方の道路上の位置であって、
ラベルＡの時刻の後の時刻における位置に対応する。同様に、ラベルＣは、ラベルＢの位
置の前方の道路上の位置であって、ラベルＢの時刻の後の時刻における位置に対応する。
車両は、走行するにつれて、ラベルＡ、ラベルＢ、およびラベルＣの位置を（ラベルＡか
らラベルＣへ）通過し、走行中にセンサデータおよび関連データの時系列を捕捉する。時
系列は、ラベルＡ、Ｂ、およびＣの位置（および時刻）で捕捉された要素を含む。ラベル
Ａは、時系列の最初の要素に対応し、ラベルＢは、時系列の中間要素に対応し、ラベルＣ
は、時系列の中間（または潜在的に最後の）要素に対応する。各ラベルにおいて、ラベル
位置における車両のオドメトリデータなどの追加データが捕捉される。時系列の長さに応
じて、追加のまたはより少ないデータが捕捉される。いくつかの実施形態では、タイムス
タンプが時系列の各要素に関連付けられる。
【0057】
いくつかの実施形態では、レーンライン５０１および５１１のグラウンドトゥルース（
図示せず）が決定される。例えば、本明細書で開示されるプロセスを使用して、レーンラ
イン５０１および５１１の位置は、時系列の要素の異なる要素からレーンライン５０１お
よび５１１の異なる部分を識別することによって識別される。図示されている例では、部
分５０３および５１３は、ラベルＡの位置および時刻で取得された画像データ５００およ
び関連データ（オドメトリデータなど）を使用して識別される。部分５０５および５１５
は、ラベルＢの位置および時刻で取得された画像データ（図示せず）および関連データ（
オドメトリデータなど）を使用して識別される。部分５０７および５１７は、ラベルＣの
位置および時刻で取得された画像データ（図示せず）および関連データ（オドメトリデー
タなど）を使用して識別される。時系列の要素を分析することにより、レーンライン５０
１および５１１の異なる部分の位置が識別され、異なる識別された部分を組み合わせるこ
とによってグラウンドトゥルースが決定され得る。いくつかの実施形態では、部分は、レ
ーンラインの各部分に沿った点として識別される。図示の例では、プロセスを説明するた
めに各レーンラインの３つの部分のみが強調表示されている（レーンライン５０１の部分
５０３、５０５、および５０７ならびにレーンライン５１１の部分５１３、５１５、およ
び５１７）が、より高い解像度および／またはより高い精度でレーンラインの位置を決定
するために、追加の部分が時系列にわたって捕捉されてもよい。
図示せず）が決定される。例えば、本明細書で開示されるプロセスを使用して、レーンラ
イン５０１および５１１の位置は、時系列の要素の異なる要素からレーンライン５０１お
よび５１１の異なる部分を識別することによって識別される。図示されている例では、部
分５０３および５１３は、ラベルＡの位置および時刻で取得された画像データ５００およ
び関連データ（オドメトリデータなど）を使用して識別される。部分５０５および５１５
は、ラベルＢの位置および時刻で取得された画像データ（図示せず）および関連データ（
オドメトリデータなど）を使用して識別される。部分５０７および５１７は、ラベルＣの
位置および時刻で取得された画像データ（図示せず）および関連データ（オドメトリデー
タなど）を使用して識別される。時系列の要素を分析することにより、レーンライン５０
１および５１１の異なる部分の位置が識別され、異なる識別された部分を組み合わせるこ
とによってグラウンドトゥルースが決定され得る。いくつかの実施形態では、部分は、レ
ーンラインの各部分に沿った点として識別される。図示の例では、プロセスを説明するた
めに各レーンラインの３つの部分のみが強調表示されている（レーンライン５０１の部分
５０３、５０５、および５０７ならびにレーンライン５１１の部分５１３、５１５、およ
び５１７）が、より高い解像度および／またはより高い精度でレーンラインの位置を決定
するために、追加の部分が時系列にわたって捕捉されてもよい。
【0058】
様々な実施形態では、レーンライン５０１および５１１を捕捉する画像データ内で、セ
ンサの位置に最も近い部分の位置は、高精度で決定される。例えば、部分５０３および５
１３の位置は、ラベルＡの画像データ５００および関連データ（オドメトリデータなど）
を使用して高精度で識別される。部分５０５および５１５の位置は、ラベルＢの画像デー
タおよび関連データを使用して高精度で識別される。部分５０７および５１７の位置は、
ラベルＣの画像データおよび関連データを使用して高精度で識別される。時系列の要素を
利用することにより、時系列によって捕捉されたレーンライン５０１および５１１の様々
な部分の位置を、３次元で高精度で識別し、レーンライン５０１および５１１のグラウン
ドトゥルースの基礎として使用することができる。様々な実施形態において、決定された
グラウンドトゥルースは、画像データ５００などの時系列の選択された要素に関連付けら
れる。グラウンドトゥルースおよび選択された要素は、レーンラインを予測するための訓
練データを作成するために使用され得る。いくつかの実施形態では、訓練データは、人間
のラベル付けなしで自動的に作成される。訓練データは、画像データ５００などの捕捉画
像データからレーンラインの３次元軌跡を予測するための機械学習モデルを訓練するため
に使用することができる。
ンサの位置に最も近い部分の位置は、高精度で決定される。例えば、部分５０３および５
１３の位置は、ラベルＡの画像データ５００および関連データ（オドメトリデータなど）
を使用して高精度で識別される。部分５０５および５１５の位置は、ラベルＢの画像デー
タおよび関連データを使用して高精度で識別される。部分５０７および５１７の位置は、
ラベルＣの画像データおよび関連データを使用して高精度で識別される。時系列の要素を
利用することにより、時系列によって捕捉されたレーンライン５０１および５１１の様々
な部分の位置を、３次元で高精度で識別し、レーンライン５０１および５１１のグラウン
ドトゥルースの基礎として使用することができる。様々な実施形態において、決定された
グラウンドトゥルースは、画像データ５００などの時系列の選択された要素に関連付けら
れる。グラウンドトゥルースおよび選択された要素は、レーンラインを予測するための訓
練データを作成するために使用され得る。いくつかの実施形態では、訓練データは、人間
のラベル付けなしで自動的に作成される。訓練データは、画像データ５００などの捕捉画
像データからレーンラインの３次元軌跡を予測するための機械学習モデルを訓練するため
に使用することができる。
【0059】
図６は、レーンラインの予測された３次元軌跡を有する車両センサから捕捉された画像
の一例を示す図である。図示の例では、図６の画像は、２つのレーンラインの間のレーン
を走行する車両から捕捉された画像データ６００を含む。画像データ６００を捕捉するた
めに使用される車両およびセンサの位置は、ラベルＡによって表される。いくつかの実施
形態では、ラベルＡは、図５のラベルＡと同じ位置に対応する。画像データ６００はセン
サデータであり、運転中に車両の前向きカメラなどのカメラセンサから捕捉されてもよい
。画像データ６００は、レーンライン６０１、６１１の部分を捕捉する。レーンライン６
０１および６１１は、レーンライン６０１および６１１が水平線に近づくにつれて右に湾
曲する。図示されている例では、レーンライン６０１および６１１が見えているが、それ
らがカメラセンサの位置から離れて遠方に曲がるにつれて、検出がますます困難になる。
レーンライン６０１および６１１の上に描かれた赤い線は、レーンライン６０１および６
１１の予測された３次元軌跡である。本明細書で開示されるプロセスを使用して、３次元
軌跡は、訓練された機械学習モデルへの入力として画像データ６００を使用して予測され
る。いくつかの実施形態では、予測された３次元軌跡は、３次元パラメータ化スプライン
または別のパラメータ化表現形式として表される。
の一例を示す図である。図示の例では、図６の画像は、２つのレーンラインの間のレーン
を走行する車両から捕捉された画像データ６００を含む。画像データ６００を捕捉するた
めに使用される車両およびセンサの位置は、ラベルＡによって表される。いくつかの実施
形態では、ラベルＡは、図５のラベルＡと同じ位置に対応する。画像データ６００はセン
サデータであり、運転中に車両の前向きカメラなどのカメラセンサから捕捉されてもよい
。画像データ６００は、レーンライン６０１、６１１の部分を捕捉する。レーンライン６
０１および６１１は、レーンライン６０１および６１１が水平線に近づくにつれて右に湾
曲する。図示されている例では、レーンライン６０１および６１１が見えているが、それ
らがカメラセンサの位置から離れて遠方に曲がるにつれて、検出がますます困難になる。
レーンライン６０１および６１１の上に描かれた赤い線は、レーンライン６０１および６
１１の予測された３次元軌跡である。本明細書で開示されるプロセスを使用して、３次元
軌跡は、訓練された機械学習モデルへの入力として画像データ６００を使用して予測され
る。いくつかの実施形態では、予測された３次元軌跡は、３次元パラメータ化スプライン
または別のパラメータ化表現形式として表される。
【0060】
図示の例では、レーンライン６０１および６１１の部分６２１は、距離が離れているレ
ーンライン６０１および６１１の一部である。レーンライン６０１および６１１の部分６
２１の３次元位置（すなわち、経度、緯度、および高度）は、本明細書に開示されたプロ
セスを使用して高精度で決定され、レーンライン６０１および６１１の予測３次元軌跡に
含まれる。訓練された機械学習モデルを使用して、画像データ６００を使用して、かつレ
ーンライン６０１および６１１の部分６２１の位置における位置データを必要とせずに、
レーンライン６０１および６１１の３次元軌跡を予測することができる。図示の例では、
画像データ６００は、ラベルＡの位置および時刻で捕捉される。
ーンライン６０１および６１１の一部である。レーンライン６０１および６１１の部分６
２１の３次元位置（すなわち、経度、緯度、および高度）は、本明細書に開示されたプロ
セスを使用して高精度で決定され、レーンライン６０１および６１１の予測３次元軌跡に
含まれる。訓練された機械学習モデルを使用して、画像データ６００を使用して、かつレ
ーンライン６０１および６１１の部分６２１の位置における位置データを必要とせずに、
レーンライン６０１および６１１の３次元軌跡を予測することができる。図示の例では、
画像データ６００は、ラベルＡの位置および時刻で捕捉される。
【0061】
いくつかの実施形態では、図６のラベルＡは図５のラベルＡに対応し、レーンライン６
０１および６１１の予測３次元軌跡は、訓練された機械学習モデルへの入力として画像デ
ータ６００のみを使用して決定される。図５のラベルＡ、Ｂ、およびＣの位置で取得され
た要素を含む時系列の画像データおよび関連データを使用して決定されたグラウンドトゥ
ルースを使用して機械学習モデルを訓練することにより、レーンライン６０１および６１
１の３次元軌跡は、部分６２１などの離れたレーンラインの部分でさえも高い精度で予測
される。画像データ６００および図５の画像データ５００は関連しているが、軌跡の予測
は、画像データ６００が訓練データに含まれることを必要としない。十分な訓練データで
訓練することにより、新たに遭遇したシナリオでもレーンラインを予測することができる
。様々な実施形態では、レーンライン６０１および６１１の予測３次元軌跡は、検出され
たレーンライン内の車両の位置を維持するために、および／または予測レーンラインの検
出されたレーンに沿って車両を自律的にナビゲートするために使用される。３次元でレー
ンラインを予測することにより、ナビゲーションの性能、安全性、および精度が大幅に改
善される。
０１および６１１の予測３次元軌跡は、訓練された機械学習モデルへの入力として画像デ
ータ６００のみを使用して決定される。図５のラベルＡ、Ｂ、およびＣの位置で取得され
た要素を含む時系列の画像データおよび関連データを使用して決定されたグラウンドトゥ
ルースを使用して機械学習モデルを訓練することにより、レーンライン６０１および６１
１の３次元軌跡は、部分６２１などの離れたレーンラインの部分でさえも高い精度で予測
される。画像データ６００および図５の画像データ５００は関連しているが、軌跡の予測
は、画像データ６００が訓練データに含まれることを必要としない。十分な訓練データで
訓練することにより、新たに遭遇したシナリオでもレーンラインを予測することができる
。様々な実施形態では、レーンライン６０１および６１１の予測３次元軌跡は、検出され
たレーンライン内の車両の位置を維持するために、および／または予測レーンラインの検
出されたレーンに沿って車両を自律的にナビゲートするために使用される。３次元でレー
ンラインを予測することにより、ナビゲーションの性能、安全性、および精度が大幅に改
善される。
【0062】
前述の実施形態は、理解を明確にするためにある程度詳細に説明されているが、本発明
は提供される詳細に限定されない。本発明を実施する多くの代替方法がある。開示された
実施形態は例示的なものであり、限定的なものではない。
は提供される詳細に限定されない。本発明を実施する多くの代替方法がある。開示された
実施形態は例示的なものであり、限定的なものではない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【手続補正書】
【提出日】2023-11-16
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
命令を記憶する非一時的なコンピュータ可読記憶媒体を備えるシステムであって、前記命令が、１つまたは複数のプロセッサにより実行されるとき、前記１つまたは複数のプロセッサに対して、
車両の１つまたは複数のセンサを介してセンサデータを取得させ、
機械学習モデルに基づいて、前記センサデータと関連付けられた３次元特徴を決定させ、前記機械学習モデルは、決定されたグラウンドトゥルースおよび期間中に捕捉された対応するセンサデータを備える訓練データセットを使用して訓練され、前記機械学習モデルは、前記対応するセンサデータの一部の入力に基づいて、前記グラウンドトゥルースを出力するように訓練され、前記グラウンドトゥルースは、前記対応するセンサデータに関連付けられた３次元特徴を示し、
前記３次元特徴に基づいて、前記車両の動作を調整させる、システム。
車両の１つまたは複数のセンサを介してセンサデータを取得させ、
機械学習モデルに基づいて、前記センサデータと関連付けられた３次元特徴を決定させ、前記機械学習モデルは、決定されたグラウンドトゥルースおよび期間中に捕捉された対応するセンサデータを備える訓練データセットを使用して訓練され、前記機械学習モデルは、前記対応するセンサデータの一部の入力に基づいて、前記グラウンドトゥルースを出力するように訓練され、前記グラウンドトゥルースは、前記対応するセンサデータに関連付けられた３次元特徴を示し、
前記３次元特徴に基づいて、前記車両の動作を調整させる、システム。
【請求項2】
前記３次元特徴は、現実世界の特徴の３次元軌跡である、請求項１に記載のシステム。
【請求項3】
前記現実世界の特徴は、車両レーンラインである、請求項２に記載のシステム。
【請求項4】
前記現実世界の特徴は、異なる車両である、請求項２に記載のシステム。
【請求項5】
前記車両の動作を調整するために、前記命令は、前記１つまたは複数のプロセッサに対して、前記車両の速度または操舵の調整をさせる、請求項１に記載のシステム。
【請求項6】
前記３次元特徴は、前記センサデータおよび前記車両と関連付けられたオドメトリデータに基づいて決定される、請求項１に記載のシステム。
【請求項7】
前記訓練データセットは、前記決定されたグラウンドトゥルース、および、複数の時系列の要素を含む対応するセンサデータを備え、前記時系列の要素の部分が、前記複数の時系列の要素の特定の時系列の要素を表す、請求項１に記載のシステム。
【請求項8】
前記グラウンドトゥルースは、現実世界の特徴のそれぞれの部分を描写する際の最も高い確度に関連付けられた、前記時系列の要素のそれぞれの部分を選択することを介して決定される、請求項７に記載のシステム。
【請求項9】
前記現実世界の特徴は車両レーンラインであり、少なくとも１つの選択されていない部分が前記車両レーンラインを閉塞している、請求項８に記載のシステム。
【請求項10】
前記グラウンドトゥルースは、選択された部分および前記車両レーンラインと関連付けられた高度情報に基づいて決定される、請求項７に記載のシステム。
【請求項11】
１つまたは複数のプロセッサのシステムによって実施される方法であって、
車両の１つまたは複数のセンサを介してセンサデータを取得するステップと、
機械学習モデルに基づいて、前記センサデータと関連付けられた３次元特徴を決定するステップであって、前記機械学習モデルは、決定されたグラウンドトゥルースおよび期間中に捕捉された対応するセンサデータを備える訓練データセットを使用して訓練され、前記機械学習モデルは、前記対応するセンサデータの一部の入力に基づいて、前記グラウンドトゥルースを出力するように訓練され、前記グラウンドトゥルースは、前記対応するセンサデータに関連付けられた３次元特徴を示す、ステップと、
前記３次元特徴に基づいて、前記車両の動作を調整するステップと、を含む方法。
車両の１つまたは複数のセンサを介してセンサデータを取得するステップと、
機械学習モデルに基づいて、前記センサデータと関連付けられた３次元特徴を決定するステップであって、前記機械学習モデルは、決定されたグラウンドトゥルースおよび期間中に捕捉された対応するセンサデータを備える訓練データセットを使用して訓練され、前記機械学習モデルは、前記対応するセンサデータの一部の入力に基づいて、前記グラウンドトゥルースを出力するように訓練され、前記グラウンドトゥルースは、前記対応するセンサデータに関連付けられた３次元特徴を示す、ステップと、
前記３次元特徴に基づいて、前記車両の動作を調整するステップと、を含む方法。
【請求項12】
前記３次元特徴は、現実世界特徴の３次元軌跡である、請求項１１に記載の方法。
【請求項13】
前記現実世界特徴は、車両レーンラインである、請求項１２に記載の方法。
【請求項14】
前記現実世界特徴は、異なる車両である、請求項１２に記載の方法。
【請求項15】
前記車両の動作を調整することは、前記車両の速度または操舵の調整をさせることを含む、請求項１１に記載の方法。
【請求項16】
前記訓練データセットは、前記決定されたグラウンドトゥルース、および、複数の時系列の要素を含む対応するセンサデータを備え、前記時系列の要素の部分が、前記複数の時系列の要素の特定の時系列の要素を表す、請求項１１に記載の方法。
【請求項17】
前記グラウンドトゥルースは、現実世界の特徴のそれぞれの部分を描写する際の最も高い確度に関連付けられた、前記時系列の要素のそれぞれの部分を選択することを介して決定される、請求項１６に記載の方法。
【請求項18】
前記現実世界の特徴は車両レーンラインであり、少なくとも１つの選択されていない部分が前記車両レーンラインを閉塞している、請求項１７に記載の方法。
【請求項19】
前記グラウンドトゥルースは、選択された部分および前記車両レーンラインと関連付けられた高度情報に基づいて決定される、請求項１６に記載の方法。
【請求項20】
コンピュータプログラム製品であって、前記コンピュータプログラム製品は、非一時的なコンピュータ可読記憶媒体に具現化されるとともにコンピュータ命令を含み、前記コンピュータ命令が、１つまたは複数のプロセッサのシステムによって実行されるとき、前記１つまたは複数のプロセッサに対して、
車両の１つまたは複数のセンサを介してセンサデータを取得させ、
機械学習モデルに基づいて、前記センサデータと関連付けられた３次元特徴を決定させ、前記機械学習モデルは、決定されたグラウンドトゥルースおよび期間中に捕捉された対応するセンサデータを備える訓練データセットを使用して訓練され、前記機械学習モデルは、前記対応するセンサデータの一部の入力に基づいて、前記グラウンドトゥルースを出力するように訓練され、前記グラウンドトゥルースは、前記対応するセンサデータに関連付けられた３次元特徴を示し、
前記３次元特徴に基づいて、前記車両の動作を調整させる、コンピュータプログラム製品。
車両の１つまたは複数のセンサを介してセンサデータを取得させ、
機械学習モデルに基づいて、前記センサデータと関連付けられた３次元特徴を決定させ、前記機械学習モデルは、決定されたグラウンドトゥルースおよび期間中に捕捉された対応するセンサデータを備える訓練データセットを使用して訓練され、前記機械学習モデルは、前記対応するセンサデータの一部の入力に基づいて、前記グラウンドトゥルースを出力するように訓練され、前記グラウンドトゥルースは、前記対応するセンサデータに関連付けられた３次元特徴を示し、
前記３次元特徴に基づいて、前記車両の動作を調整させる、コンピュータプログラム製品。
【外国語明細書】